почему нельзя смешивать устную и письменную речь ? буквы и звуки ???

Русский литературный язык функционирует в форме устной и в форме письменной речи. Обе эти речевые формы используют одни и те же единицы языка, но по-разному.
Речь устная и речь письменная рассчитаны на разное восприятие и поэтому отличаются лексическим составом и синтаксическими конструкциями. Цель устной речи - быстрота передачи и восприятия определенного содержания. Она адресуется непосредственно собеседнику и рассчитана на слуховое восприятие. В распоряжении устной речи кроме лексико-грамматических средств имеются и вспомогательные средства передачи мысли: мимика, жесты, интонация, паузы, возможность повторения.
Письменная речь отличается от устной прежде всего сложной системой графики и орфографии, посредством которой передается то или иное содержание. В лексическом и грамматическом отношениях она характеризуется строгим соблюдением литературных норм языка - особым отбором лексики и фразеологии, обработанным синтаксисом. В письменной речи широко употребляется книжная лексика: официально-деловая, научная, общественно-публицистическая. Для синтаксиса письменной речи характерны сложные и осложненные предложения. В ней большое значение имеют порядок слов, строгая последовательность, стройность в изложении мыслей. Письменную форму речи отличает предварительное обдумывание высказываний, редакторская обработка текста, которую может выполнить и сам автор. Это обусловливает точность и правильность письменной формы речи.

для восприятия сложновато.

Потому что нельзя. Это разные вещи. В слове может быть разное количество звуков и букв. Также произносим мы так, а пишем по-другому. Например, пишем ешь, а призносим йэш. Понятно?

Говорим мы не так, как пишем, и наоборот. Буква-1,она может обозначать несколько звуков.