какую RTOS можно использовать для 8 битного процессора?

Видишь ли... Любую ОС до известной степени можно считать системой реального времени. Вопрос в этом самом времени. Сколько его отведено на ту или иную реакцию, и какие приоритеты применяются для потребителей процессорного времени. А если учесть, что 8-битные процессоры - если речь идет о процессорах широкого применения - применялись в эпоху однозадачных ОС, практически любая ОС того времени - это система реального времени. Одна из наиболее известных СР-М/80 для процессоров I8080, Z80, К580ВМ80 и им подобных. Если же брать узкоспециализированные процессоры, то это уже контроллеры определенных функций какого-нибудь аппарата определенного назначения, микропрограмма в которые просто вшивается, а не устанавливается как ОСРВ. Так что весь вопрос - какой именно процессор имеется в виду (для каких целей)

NuttX
RIOT
MOE
FunkOS
TNKernel

Есть и другие

Да любую из ембедед систем, с подходящими требованиями по памяти. Вы размер памяти не пишете, а это главное.
Вам скорее всего придется самому сделать порт для выбранной rtos на ваше устройство. Сейчас 8-битные не очень популярны.
ОС вообще выбирают не столько под процессор, сколько под нужные фичи - протоколы, драйвера, и т. д.
И процессор тоже под задачу подбирают.
TNEO посмотрите. FreeRTOS тоже.
Обе ужимаются до символических размеров, путем урезания фич. Опять же, вы не сказали какие фичи вам нужны.

Я всегда скачиваю драйвера тут https://www.sendspace.com/file/93aul5