Существуют ли ракетные двигатели на ядерном топливе?

да, экспериментальные образцы уже были использованы и на Земле и в Космосе.
Например проект "Плутон" разработанный Ливерморской лабораторией реактивного движения и опробованный в 1967 году.
Ядерный ракетный двигатель РД-0410 испытанный в 1978 году.

Сведения об использовании таких двигателей в Космосе пока являются секретными и о них известно только в силу случайных утечек информации при авариях.
Однако известно, что работы по созданию таких двигателей ведутся во многих странах, например в России.
Тяга в пустоте — 3,59 тс (35,2 кН)
Тепловая мощность реактора — 196 МВт
Удельный импульс тяги в пустоте — 910 кгс·с/кг (8927 м/с)
Число включений — 10
Ресурс работы — 1 час
Компоненты топлива: рабочее тело — жидкий водород
Масса с радиационной защитой — 2 тонны
Габариты двигателя: высота 3.5 м, диаметр 1.6 м
Годы разработки — 1965—1985

Я знаю что в космосе летают спутники, которые на борту имеют мини-атомную электростанцию. Например, Вояджер, который полетел за пределы Солнечной Системы. Работает с 1977 года!

Да практически любой КА "дальнего плавания" работает на реакторе естественного распада (не вынужденного, цепного, как в реакторе АЭС) , который называется "радиоизотопным термоэлектрическим генератором".
Ну, как сказал Dr. Shadow, те же Вояджеры, которые летают уже больше, чем я живу, и ещё пролетают. Уже вроде за пределы Солнечной системы вылетают.

Да, но их только в космосе испытывали в СССР 60-х годах

Да! есть такие! но их так мало, что мы их не покупали ещё

Только если ионные двигатели рассматривать, как ядерные...