Почему слово "отец" в родительном падеже "отца", а не "отеца"?

там раньше был редуцированный (сверхкраткий) гласный "ь" - отьц.
под ударением этот гласный впоследствии превратился в "е", а в безударном положении исчез.

так же, как лен - льна, пес - пса. Выпадение гласных - обычное дело. В каких словах выпадает - тут интереснее, вот в словах лес - леса, тёс, мёд - не выпадает. Дело в том, что в средние века, когда формировались падежи, тут были разные гласные - е и ять, они и звучали по-разному. (А звука ё вообще не было!)

Наверное, так и было - поначалу! Ведь лексика древнейшая...
Постепенно "стёрлось" от переупотребления - в речи, тогда ещё архивные юноши были в меньшинстве. Поначалу переместилось ударение, потом безударный звук угас...

Как и в слове МАТЕРЬ отпало окончание

Для одушевлённых слов, заканчивающихся на -ец в винительном падеже "е" опускается. Также "е" опускается для всех слов на -ец в родительном падеже.
торец - творца, творца
купец - купца, купца
певец - певца, певца
венец - венца, венец
конец - конца, конец
холодец - холодца, холодец

в русском очень мало слов, заканчивающихся на -еца.
Несколько исключений :
жнец - нет жнеца, позовите жнеца
жрец - жреца
лжец - лжеца
хитрец - хитреца
спец - спеца (сокращенный вариант слова "специалист")
кузнец - кузнеца
(не исключение) агнец - нет агнца, видел агнца

Таковы правила русского языка!!!

Но при этом "малец" - "малЬца", "лжец" - "лжЕца" (ни в коем случае не "малца" и "лжца").