Крепость Анже, построенная на скалистом утеса над рекой Мэн, была одним из укрепленных пунктов римской армии благодаря стратегически важному местоположению.
В 9 в. крепость перешла во владение могущественных графов Анжуйских, став частью Анжевенской империи английских королей из династии Плантагенетов в течение 12 в. В 1204 в. регион завоевал Филипп II. Во времена правления его внука Людовика IX (Святого) в начале 13 в. здесь был построен огромный замок.
Диаметр строения составляет почти 600 м. в диаметре, его защищают семнадцать массивных башен, а площадь территории за стенами замка - 25 000 кв. м. Две пары башен составляют укрепленное городище и входы в замок. Каждая башня когда-то составляла 40 м. в высоту, но позже они стали ниже для использования артиллерии. Башня Тур-дю-Мулен - единственная, сохранившая первоначальную высоту.
В 1352 г. Иоанн II Добрый подарил замок своему сыну Людовику I. Людовик, женившись на дочери богатого герцога Бретонского, выполнил перестройку замка. В 1373 г. у художника Эннекина Брюггского и парижского мастера гобеленов Николя Батайя он заказывает знаменитый гобелен "Апокалипсис".
Людовик II (сын Людовика I) и Иоланда Арагонская приказали пристроить капеллу (1405-1412 гг. ) и королевские апартаменты к комплексу. Капелла относится к категории "сент-шапель" ("святых капелл"). Такое название имеют право носить те церкви, в которых хранятся реликвии, свидетельствующие о Страстях Христовых. Так, в Анже хранилась щепка от фрагмента Святого Креста, приобретенная Людовиком IX.
В начале 15 в. неудачливый наследник престола, который позже с помощью Жанны д'Арк стал королем Карлом IV, был вынужден бежать в Париж. Укрытие он нашел в Анжерском замке.
В 1562 г. Екатерина Медичи приказала отреставрировать замок и вновь сделать его мощной крепостью, но ее сын Генрих III сократил высоту башен и лишил башни и стены укреплений; Генирих III использовал камни замка для постройки улиц и расширения деревни Анже. Тем не менее под угрозой нападения гугенотов король улучшил оборонительную сооружению замка, сделав его военным форпостом и установив артиллерию на верхних террасах. В конце 18 в. замок доказал свою мощь, когда его толстые стены устояли под натиском пушечной атаки Вандейской армии. Нападающие просто сдались, неспособные взять твердыню.
В замке была открыта военная академия для обучения молодых офицеров стратегии войны. По иронии судьбы, 1-й герцог Веллингтон Артур Уэллсли, известный прежде всего благодаря своему участию в битве при Ватерлоо, приведшей к разгрому Наполеона Бонапарта, обучался в Анжерской военной академии.
10 января 2009 г. замок серьезно пострадал от неожиданного пожара, вызванного коротким замыканием. Королевская библиотека, где находятся старинные издания книг и административные офисы, наиболее пострадала - полностью сгорело 400 кв. м. крыши. К счастью, гобелены "Апокалипсис" не были повреждены. Ущерб оценили в 2 миллиона евро. Министр культуры Франции Кристина Альбанель утверждает, что реставрация будет закончена во втором триместре 2009 г.