почему фраза "ему надоело свое занятие" противоречит нормам русского языка?

Потому что в русском языке возвратно-притяжательное местоимение "свой/свое.. " используется для обозначения объекта/предмета, принадлежащего подлежащему или относящегося к подлежащему.
Например, "Я мою свою машину", машина принадлежит лицу, которое является подлежащим "я".
Во фразе "ему надоело свое занятие" подлежащим является "занятие", поэтому слово "свое" как бы повисает в воздухе, его хочется соотнести с подлежащим, но это невозможно. "Ему" (некоему человеку) тут не является подлежащим и с трудом может быть соотнесено с местоимением "свой". Поэтому фраза звучит коряво (даже при том, что она короткая и других объектов, к которым может относиться "свой", тут нет) .
В общем, смотрим всегда на подлежащее - если предмет принадлежит ему, подлежащему, то можно использовать местоимение "свой", если не принадлежит подлежащему - то нельзя.
Вообще возвратно-притяжательное местоимение "свой" крайне редко употребляется с подлежащим. Исключением могут быть какие-нибудь афористические или обобщающие фразы, в которых подразумевается неопределенно-личный смысл, например,
Своя рубашка ближе к телу; Своя ноша не тянет; Свой ребенок всегда самый лучший.. .
(ср. На чужой сторонушке рад своей воронушке - тоже афористическое выражение, пословица, правда, определенно-личное предложение) .
(Другое исключение - это фразы, по смыслу являющиеся косвенной речью, но они к делу не относятся ;))
Вот потому, что подлежащим является "занятие", которое относится к некоему, но конкретному "ему", употребление здесь "свой" противоречит нормам русского языка, и необходимо заменить "свое" на "его".

Потому что неправильно употреблено притяжательное местоимение "своё". Надо: ему надоело его занятие.

Ему надоело ЕГО занятие - правильнее. Почему именно - не знаю, но первый вариант режет слух..