Меркурий был славянином из Моравии и происходил из княжеского рода. В юном возрасте пришёл в Смоленск и поступил на службу к смоленскому князю. Согласно житию, Меркурий отличался набожностью и «благочестивой жизнью: подвизался в посте и целомудрии» .
Мученичество принял в 1239 году во время нашествия хана Батыя на Смоленск. По преданию, когда татарские войска стояли в 25 верстах от города, на Долгомостье, молившемуся ночью в соборе перед иконой Божией Матери местному пономарю явилась Богородица, велевшая позвать Меркурия.
Святой Меркурий, вместе с пономарем, отправился в церковь Пресвятой Богородицы. В храме они нашли свечу, которая горела пред иконой Богородицы. Святой Меркурий, упав пред иконой, с слезами стал молиться, прося Пресвятую Госпожу о помощи и заступлении. Тогда вдруг раздался глас от иконы:
Раб мой Меркурий, я посылаю тебя, чтобы ты отразил врагов от града сего и защитил храм сей… В сей битве ты победишь врагов и сам получишь от Господа венец победы и вечного блаженства.
— Димитрий Ростовский, Жития святых (24 ноября)
Меркурий послушался веления Богородицы и ночью пошёл во вражеский лагерь где, согласно жития, истребил множество врагов, включая некого исполина, наводившего на всех страх своей силою. В ходе сражения сын убитого исполина отсёк Меркурию голову, но татары в страхе бежали: «побросав оружие, гонимые какой-то неведомой силой, они бежали от города, под котором погибло так много из лучших бойцов, и удалились из пределов Смоленских» .
Тело Меркурия было погребено жителями в Успенском соборе Смоленска. Церковное празднование в память святого Меркурия было установлено в конце XVI века, но уже с 1509 года жители Смоленска почитали его заступником города.
«Слово о Меркурии Смоленском» — памятник древнерусской письменно