Сооружение было построено как форт для обороны Марселя от атак с моря. Строительство шло в 1524—1531 по приказу короля Франциска
С конца XVI века замок стал использоваться для изоляции и охраны особо опасных преступников. Именно с тех пор форт и получил название замка Иф. В темницах содержались гугеноты, политики, руководители Парижской коммуны, а также персоны, представлявшие опасность для Франции.
В 1830-х годах замок Иф официально перестал быть тюрьмой, но в 1871 году здесь содержались руководители Парижской коммуны, а её руководитель Гастон Кремье расстрелян на острове Иф.