Помогите в создании своего псевдо-движка!

то что ты затеял (в одиночку?) потребует кучу времени и знаний. скорее всего загнется. но! есть такие магазины - книжные. не инет, а реальные, большие. зайди в один из них поищи литературу о 3-d графике, об использовании директ дроу, директ 3d - все это тебе пригодится. книги толстые, читать и вникать придется долго. и это только для визуализации картинки. потом тебе придется выучить теорию графов, основы ИИ ну и тогда как то что то может получиться. но к тому времени твой движок уже устареет. если будет написан.
так скорее всего будет, но я буду рад ошибиться. удачи.
зы. книги из магазина покупать не обязательно - бесит же, можно выписать названия и скачать откуда нибудь

А зачем вообще писать движок, если игра на нем будет одна единственная? Пиши без движка, будет гораздо проще

Сперва придется изучить высшую математику, матрицы и вектора, без них ни как.. Затем нужно разобраться как матрицы и вектора стыкуются с OpenGL... Самый лучший вариант разобраться с высшей математикой это ВУЗ, Вам останется только разобраться с OpenGL. Задача посильная, но долгая...

Я знаю, что ответ тебе не понравиться, но мне кажется ты себя переоцениваешь.
Данные движки писались годами, десятками профессиональными разработчиками. И повторить это в одиночку, я очень сильно сомневаюсь

Научи человека использовать движок - он сделает игру, научи человека писать ДВИЖОК - и он не сделает ни-че-го.
...
И таких книг, где бы прям обучали написанию движка, нет. Впрочем, если так охота пилить велосипеды, то изучай OpenGL. Или если собираешься работать только с 2d графикой, тогда можешь взять SDL2, так будет куда проще. Затем может почитать книжку "Шаблоны игрового программирования"

Можно создать псевдо 3д игру вроде Wolfenstein 3D, Hovertank и т. д. Pygame и базовые знания Python в помощь, как самый простой вариант. Если хочешь на C++, то SFML пойдёт. Гугли статьи про алгоритм raycasting.