Как мне начать писать, и не забросить свою ось, свою систему яп, и свою программу ии?

Это вопрос о том, как стать сумасшедшим. Эти твои разработки никому не будут нужны.

Для начала берёшь учебник (например, "Проект Оберон") и внимательно его читаешь.

Начать писать легко, а вот не забросить не выйдет.

1) ось - низкий уровень, бред, сложно в одиночку и в принципе абсолютно не нужно в современности, есть устоявшиеся 3 оси и их навряд ли что-то потеснит.
2) Система ЯП? Для оси? Написать IDE уже легче, особенно если ты пишешь язык не вдаваясь в компиляцию, я подобным занимаюсь уже довольно долгое время, но достиг значительных успехов.
3) Программа ИИ - ИИ понятие широкое, например для реализации полета бабочки в игре нужен простейший ИИ. ИИ писать также не особо сложно, однако сложно написать его оптимально.

Однако в соло настрочить ось - не реальная цель.

в детстве, в соседнем дворе жили 2 брата близнеца.
Папа квасил. Мама тянула семью как могла (работа, подработка, совмещение...) домой приходила только ночевать.
Дети в садик не ходили потому что
a) за садик надо платить, а денег нет
б) некому было отвести/привести
за детьми присматривал прадедушка
братья росли сами по себе и сами придумали язык общения .
к 5-6 годам они понимали что говорит мама, но их понять никто не мог

...это было предисловие .
Предположим создал ты свою ось, написал ЯП . сварганил пару-тройку игрушек.
Дальше-то что ?! мой компьютер не совместим с твоими игрушками
на своей личной оси и со своим ЯП ты будешь писать исключительно для себя

нужно реальные цели ставить, для чего это нужно.
и, конечно же, деньги чтобы платили - но если есть стоящая цель, то и деньги будут, хоть и постепенно.
я пишу свою "систему яп" для работы. моя сотрудница "систему ии" пишет для работы.
ос пока не пишем толком, но мелкую недостающую тулзу для винды или линукса написать, например на WinXP плагин к проводнику, быстро открывающий терминал для открытой папки - более чем возможно. опять же такую, какая для работы нужна