Как в принципе появляются слова, и как определяют, что слово должно писаться через например "А", а не через "О"?

Слова возникают в процессе общения: не смог человек обойтись привычными словами, чтобы рассказать, что хотел, придумал и сказал новое. Оно оказалось удачным и пошло в народ... (что такое "пошло в народ", надо объяснять или в словаре посмотрите?)
Как новое слово пишется, устанавливает автор, а его решение проверяют лексикографы. И авторитетные лингвисты.

Несколько лет назад разбирались, как писать слово "кипеж"...
«Максим Кронгауз выступил за «кипеж», Анатолий Баранов — за «кипеш», а Ирина Левонтина назвала самым частотным вариант «кипиш». Единственное, на чем сошлись все трое, так это на том, что никакого мягкого знака в конце там нет — это слово мужского рода.
В «Словаре русского арго» Владимира Елистратова целых 13 (тринадцать!) вариантов написания этого слова, в том числе и хипеж, и даже хипес».

да как хочешь так и пиши, если только речь не идет о диктанте

Примерно так-же, как определяют, например, что людская нога должна сгибаться в колене, и назад, а не в ляшке, и вперед. Если наоборот - значит это существо не людского рода. Каждая буква имеет свои значения. Если слово должно писаться через "а", а пишется через "о" - значит это другое слово.

При низкой грамотности населения появляются местечковые диалекты и имя Александр превращается в Олегсантр )

Сабака, малако и т.п.

в словапях смотрят, правила учат