До предпоследней строчки всё правильно. Дальше ошибки и ляпы:
1) Должно быть AC² = AB * AH, а не AC² = AB² * AH, как тут написано (хотя числа подставляются, судя по всему, в правильную формулу);
2) Далее если AC = 5x, то AC² = 25x², а не 26x², как тут написано;
3) После того, как найдено AH = 26/2 = 13 (хотя, согласно предыдущему, должно быть 25/2 = 12,5, и это верный ответ), этот результат зачем-то ещё раз делится на два.
В общем и целом, неудивительно, почему вышло неправильно.
Собственно, если основываться на этом решении, то последняя строчка должна выглядеть так:
AC² = AB * AH => 25x² = 13*AH
И если мы нашли x² = 13/2, то незачем извлекать из него корень. Подставляем прямо сюда:
25 * 13/2 = 13*AH => 25/2 = AH => AH = 12,5.
Однако я решал по-другому. За x обозначил CH, тогда AH = 5x, его и надо найти. И по свойству высоты прямоугольного треугольника CH² = AH * HB, т.е. x² = 5x(13 - 5x). Сокращаем на x и получаем обычное линейное уравнение x = 5(13 - 5x), решая которое, получаем x = 2,5, т.е. искомое AH = 5x = 12,5. Немного проще.