Задача по кинематике

Начали Вы делать в целом правильно и получили первый очень важный результат - время между двумя последовательными соударениями одно и то же T = 2\sqrt{2h/g}. Теперь посмотрите на уравнение изменения координаты вдоль плоскости от времени. Оно вообще не зависит от соударений, т. к. в силу их упругости они не изменяют компоненту скорости вдоль плоскости. Т. е. мы имеем равноускоренное движение (с ускорением g sin a) с _нулевой_ начальной скоростью (правильно? )

x(t) = g sin a t^2/2

Итак, у Вас получается последовательность x-координат в моменты соударений t = T/2, T/2 + T, T/2 + 2T ...
(заметьте, что первый удар происходит, спустя T/2). Расстояния вдоль плоскости между точками столкновений, соответственно, l_n = x(T/2 + (n-1)T) - x(T/2 + n T) = g sin a T^2 n (проверьте) . Теперь осталось посмотреть на отношение посследовательных расстояний

l_{n+1)/l_n = (n+1)/n.

Получили то самое отношение последовательных целых.

Ключевой момент в решении именно равенство промежутков времен между ударами. Как так получилось, что Вы на этом остановились?

это сложная задачка

Ошибка уже в начале Ваших рассуждений: «скорость отскакивания от плоскости постоянна».
ЭТО НЕ ТАК: не забывайте, что высота при каждом ударе уменьшается; таким образом, потенциальная энергия уменьшается ⇒ кинетическая энергия увеличивается.

До конца решать некогда, но суть такая: можно посчитать увеличение кинетической энергии как уменьшение потенциальной, а это уменьшение равно mgL·sin α, где L — расстояние между соседними точками на текущем этапе