Как объяснить правописание в следующем предложении? "Три лучшиХ ученика нашей школы поступили в МГУ. "

определение ставится в родительном падеже мн. числа, так как находится между сущ. м. рода и числительным "три".

Вот правило:

§193. Определение при существительном, зависящем от числительных два, ТРИ, четыре

При существительных МУЖСКОГО и среднего рода, зависящих от числительных два, ТРИ, четыре

(а также от составных числительных, оканчивающихся на указанные цифры) ,

определение, находящееся между числительным и существительным, в современном языке ставится, как правило, в форме РОДИТЕЛЬНОГО падежа множественного числа:

два высоких дома, три больших окна, двадцать четыре деревянных стола.

Например: ...Офицеры ели жадно, без разговоров, наверстывали за два потерянных в боях дня (Шолохов) ;
Два крайних окна в первом этаже закрыты изнутри газетными листами.. . (А. Н. Толстой) .

- ------ --

(А при существительных ЖЕНСКОГО рода в указанных условиях определение чаще ставится в форме ИМЕНИТЕЛЬНОГО падежа
(или совпадающего с ним ВИНИТЕЛЬНОГО при неодушевленных существительных) множественного числа.

Например: две большие комнаты выходили окнами в сад; купила четыре фарфоровые чашки; на изгороди из трех жердей сидели три женские фигуры (А. Н. Толстой) ;
По этим дорогам двигаются две большие колонны немцев (М. Бубеннов) .

Вообще-то, правильнее: трое лучших учеников
Учеников (каких? ) - лучших

Объяснить так, чтобы процитировать правило, не смогу.
Просто знаю, что так верно.

Три лучшиХ ученика.. .
НО
Три лучшиЕ книги.. .

Может, зависит от рода существительного?

в чём? в каком месте?

Три лучш-ИХ ученика нашей школы поступили в МГУ.
В словосочетании ТРИ ЛУЧШИХ УЧЕНИКА:
--- ТРИ управляет именем существительным: оно требует его постановки в Родительном падеже единственного числа,
--- имя прилагательное ЛУЧШИХ:
согласуется (по форме) с именем существительным УЧЕНИКА в РОДИТЕЛЬНОМ падеже,
в то же время оно согласуется (по значению) с именем числительным ТРИ во МНОЖЕСТВЕННОМ числе (всё, что больше "одного", ---в нашем сознании "много").
Таким образом:
ТРИ<==мн. ч. =ЛУЧШИХ=Р. п==>УЧЕНИКА