В сентябре 1066 года вторгшаяся в Англию во главе с Вильгельмом Завоевателем армия норманнов, разместила в Певенси внутри стен старого форта, свой оборонительный лагерь, перед маршем на Гастингс. После победы Вильгельм Завоеватель передал Пивенси своему сводному брату Роберту, графу Мортена. Он построил большой донжон и укреплённый крепостной двор в одном из углов старого римского форта и отремонтировал те участки стены, которые в этом нуждались. На протяжении последующего столетия к замку были добавлены ров с перекидным мостом, а в XIII веке построен надвратный донжон.
В 1925 году последний владелец замка Пивенси герцог Девоншира объявил замок достоянием нации. Сегодня Пивенси находится в ведении организации «Английское наследие» и является одним из самых посещаемых мест Великобритании. Посетители могут пересечь перекидной мост, взобраться на стену, осмотреть башни или спуститься в подземелье. Вход на территорию римского форта бесплатный. За вход в замок взимается небольшая плата. Рядом с замком находятся чайная, ресторан и автостоянка.
