как часовщики рассчитывают зубчатую передачу - как в деталях машин? или все же по упрощенной формуле?

Точно также. через число передаточных отношений. То ли по количеству зубьев, то ли по диаметру.

Скорее всего так же. Нагрузки там свои есть (хоть и очень малые) и их нужно учитывать, ведь часы работают десятилетиями без обслуживания, соответственно и износ не должен быть быстрым.
А вообще, Кулибин делал вырезал колёса своих первых часов из дерева без каких-либо формул, и всё работало...