Замок расположен на пике скалы Sonnenberg (солнечная гора) на высоте 494 метра над уровнем моря возле маленького городка Аннвайлер на троекратно расколотой скале пестрого песчаника и поэтому такое название Трифельс - „троекратная скала“. На других холмах виднеются руины замков Анебос и Шарфенберг.
Первое упоминание об этом замке было в 11 столетии, а точнее в 1081 году. Тогда он был во владении рыцаря Diemar'а (родственника архиепископа Зигфрида Майнцкого). Удалившись в монастырь он передал свой замок королю. В 1113 г Генрих V превратил Трифельс в имперский замок, отклонив требования о наследовании архиепископа Адальберта Майнцкого. Архиепископ пытался найти союз с противниками Генриха, но потерпел поражение и вынужден был провести несколько лет в замке Трифельс в качестве заключенного.
После смерти императора Генриха V в 1125 г, его племянник герцог Фридрих II Швабский посчитал замок столь надежным, что хранил здесь сокровища имперской короны Гогенштауфенов, пока в 1220 Фридрих II Гогенштауфен не переместил их в Waldburg (замок в Швабии) .
За свою историю Трифельс не раз был тюрьмой. Одним из самых знаменитых пленников был Ричард Львиное Сердце
Возвращаясь из крестового похода, Ричард попал в засаду, устроенную ему герцогом Леопольдом Австрийским. Герцог был обижен на Ричарда, который однажды, при штурме крепости, сбросил его знамя, оказавшееся на крепостной стене раньше, чем знамя самого короля. Однако Леопольд не знал, что ему делать с пленником. Сначала короля Англии держали в замке Дюрнштайн в шестидесяти километрах от Вены, потом — в Оксенфурте, близ Вюрцбурга. В Оксенфурте Ричард был передан императору Генриху VI. Позднее местом заключения стала крепость Трифельс. По приказу императора король был окружён охраной днём и ночью, но сохранял присутствие духа.
Из глубины столетий до нас дошел один напев, с помощью которого, говорят, было обнаружено место заточения короля. По преданию любимый менестрель короля Ричарда, Блондель де Нель, пустился странствовать по чужой стране в поисках своего венценосного господина, заключенного в одном австрийском замке, который неизвестно где находится.
Верный Блондель неутомимо проверял все деревни, пересекая горы и равнины, надеясь найти хоть какой-нибудь признак его присутствия. Узнав однажды от вдовы, у которой он гостил, о существовании пленника высокого положения, находящегося в заключении четыре года ( в замке округи, менестрель отправляется туда в качестве жонглера и развлекает хозяина замка своими песнями и рассказами. Сир приглашает его погостить, и Блондель пытается найти способ узнать личность заключенного, но тут снова вмешивается Провидение. Однажды, король Ричард видит, как Блондель идет по двору, узнает своего менестреля и, чтобы привлечь его внимание, напевает первую строфу песни, сочиненной им вместе с Блонделем и о которой никто не знал. Тотчас его узнав, Блондель в восторге вскричал: "О, Ричард! О, мой король! "
Менестрель поспешно возвращается в Англию и рассказывает баронам о Ричарде. Те выкупают его за двести тысяч марок серебром.
