Замок был сооружен в течение лета 1293 года.

В 1403 году шведский король Эрик Щ даровал Выборгу, игравшему значительную роль в торговле, официальные права города. Во главе Выборга стоял бургомистр, но решающая роль принадлежала коменданту замка, как правило, представителю одного из знатных шведских родов.
Во второй половине XVI века встал вопрос о новых крепостных сооружениях, и в 1563 году началось возведение так называемой Рогатой крепости. Новые укрепления начинались от Круглой башни (с севера) и от Монастырских ворот (с юга) : они имели форму большого 4-угольника и тянулись в юго-восточном направлении. По углам возвели выступавшие вперед мощные бастионы, или «рога» , как их тогда называли: от них получила свое название и вся крепость. Со временем свое военное назначение потеряли и эти укрепления.

В 1860-е годы валы Рогатой крепости были срыты, так как мешали новой планировке города. Оставлен был только бастион Панцерлакс (Щит залива) как исторический памятник.

Русские никогда не прекращали попыток отвоевать Выборг.
И 9 мая 1710 года это наконец – то свершилось…
Выборг был единственной большой крепостью, которая в течение 400 лет являлась крепостной стеной шведов на востоке. Поэтому горе их при потере передового своего оплота было тем более велико, что у них не было никакой надежды вернуть его обратно.

В память о взятии Выборга была отчеканена медаль. На ее лицевой стороне — портрет Петра I, на оборотной — план осады Выборгской крепости, аллегорическое изображение победы русских над шведами — орел, преследующий журавля, и надпись по-латыни из Овидия: «Взят дерзновенный».