Почему произношение иностранных слов с буквой "е" в русском языке может оставаться или заменяться на "э"?

С точки зрения принципов русского письма, твёрдость/мягкость согласного маркируется нейотированным/йотированным гласным: ка-кя, лу-лю и пр. Поэтому аналогично должно быть э/е, т. е. кафе нужно было бы писать кафэ. Однако поскольку в русском языке потребность в нейотированном "э" долго отсутствовала (это просто особенность фонетики), буква "э" появилась только в 18 веке и до сих пор воспринимается как редкая для нашего языка. В результате вышеуказанное правило в основном нарушается и букву "е" ставят и после твёрдых и после мягких согласных. Отсюда и нерегулярность.
Со временем под влиянием данного правила согласная может смягчиться и произношение изменится. Так произошло с кремом и постепенно происходит с компьютером и аналогичными словами.

Правила на такие случаи сверху не спускают. Да, есть нормы. Но есть еще понятие узуса. Так говорят. И если "так говорят" достаточно много и достаточно долго, это становится правилом и заносится в словари, как многострадальный кофе среднего рода.

узус - речевая практика какого-либо коллектива, частично регулируемая нормами устной и письменной речи (включающая, однако, не только нормативную речь, но и отклонения от нормы, в том числе и просторечие) (в лингвистике) .

Если язык считает слово своим, то и произноситься оно будет по-своему. А вот если чужим – то по-чужому. Кафе ишо не обрусело до такой степени, как кекс.

Ну может потому что ты не говоришь кафе а говоришь кафэ