С военной точки зрения замок служил больше средством устрашения. Только в 1531 г. появилась возможность проверить замок в деле - Король Испании Карл V готовился к нападению на Марсель. Однако он передумал, и, возможно, Замок Иф сыграл в его решении не последнюю роль. Хотя крепость смотрится достаточно грозно, стены ее не столь надежны. В своем докладе известный инженер Вобан пишет:
"Укрепления выглядят неприступными как скала, ..однако построены очень грубо и небрежно, с огромным количеством дефектов. Замок построен очень плохо, без должного внимания и наспех... "
Изолированность и опасные прибрежные потоки сделали замок идеальным местом для тюремного заключения. Более 3500 гугенотов, большое количество осужденных по политическим и религиозным причинам очень скоро принесли замку дурную славу.
Условия арестантов сильно зависели от их статуса. Бедняков бросали в самую глубь замка, в темные камеры без единого окна. Тем, кто был побогаче предлагали отдельные камеры наверху, где они могли дышать свежим морским воздухом и "наслаждаться" видом на море.
В конце XIX века замок был демилитаризован и в 1890 г. открыт для публики.

Замок выстроен непосредственно в скале. на поверхности острова расположено лишь квадратное строение со внутренним двориком и тремя круглыми башнями. На территории замка также расположен маяк, а крепостные стены сливаются краями скал. Высокие бастионы венчают островные утесы, глядя в сторону моря и побережья. В 1844-1845 гг. известный писатель Александр Дюма написал роман "Граф Монте-Кристо", где было описано многолетнее заточение главного героя в Замке Иф. Роман стал одним из самых популярных во французской литературе. В СССР по этому роману был также снят фильм "Узник Замка Иф".