почему нельзя смешивать устную и письменную речь буквы и звуки

Потому что устная речь это когда человек говорит, а письменная это когда человек пишет. Буквы это относится к писменной речи, а звуки относятся к устной речи. Буквы когда мы правильно пишем, а звуки это как мы произносим. Например: багаж (буквы), а говорим мы бага (ш) (звуки).