Греческие мифы, позднее заимствованные римлянами, повествуют о 12 подвигах Геракла, одним из которых было похищение коров великана Гериона. Со слов Страбона, который цитировал Пиндара, следует, что в ходе своего путешествия на запад Геракл отметил самую дальнюю точку своего маршрута. Эта точка и служила границей для мореплавателей в античную эпоху, поэтому в переносном смысле «геркулесовы столбы» — это край света, предел мира и выражение «дойти до геркулесовых столбов» означает «дойти до предела».
Некоторые римские источники утверждают, что когда на пути у Геракла встали Атласские горы, он не стал взбираться на них, а пробил себе путь насквозь, таким образом проложив Гибралтарский пролив и соединив Средиземное море с Атлантическим океаном. Две горы, образовавшиеся по берегам пролива, стали именоваться именем героя. Диодор Сицилийский же, напротив, утверждал, что Геракл не пробил перешеек, а наоборот, сузил уже существовавший канал, чтобы чудовища из океана не могли попасть в Средиземное море.
Если верить Платону, мифическая Атлантида располагалась за Геркулесовыми столбами.
По словам Платона, на Гибралтарской скале и скале Абила были установлены две статуи на высоких колоннах, представляющие собой своеобразные ворота из Средиземного моря в Атлантику. В 711 году арабский полководец Тарик ибн Зияд, который во главе большой армии переплыл Гибралтарский пролив, велел «во славу Аллаха» разрушить статуи вместе с колоннами. Утверждается, что значок доллара ($) представляет собой стилизованное изображение Геркулесовых столбов, обвитых мифическим змеем Пифоном.
Две колонны имеются на гербе Испании, куда они перешли с эмблемы императора Карла V.
.
