Как такое решить?
kb² - (k + 1)²ac = 0 - похоже на дискриминант.
Путь x1, x2 - корни уравнения ax² + bx + c = 0, тогда по т. Виета
{x1 + x1 = -b/a
{x1*x2 = c/a
{x1/x2 = k.
А дальше что, подставить в первое уравнение значение с заменой k на x1/x2, или найти дискриминант ax² + bx + c = 0, Д = b² - 4ac ==> kb² - (k + 1)²ac = 0 - выразить ac, ac = kb²/(k+1)², тогда b² - 4kb²/(k+1)² = 0 ==> b² - 4kb²/(k+1)² ==> b²(k - 1)²/(k+1)².
x1 = (-b + b(k - 1)/(k+1)) / 2a ==> -b + b(k - 1)/(k+1)2a ==> (-b(k +1 + k - 1))/(k+1)2a ==> (-b(2k))/(k+1)2a ==> -bk/(k+1)a.
x2 = (-b - b(k - 1)/(k+1)) / 2a ==> -b - b(k - 1)/(k+1)2a ==> (-b(k +1 - k + 1))/(k+1)2a ==> (-b2)/(k+1)2a ==> -b/(k+1)a.
Теперь x1/x2 = -bk/(k+1)a / -b/(k+1)a ==> -bk/(k+1)a * (k+1)a/-b = k.
Мои рассуждения верны или нет?

В решении нужно привести двустороннее доказательство - необходимости и достаточности.
У Вас доказана только достаточность. Но нужно доказать ещё необходимость.
Можно сделать это так:
Необходимость. Нам дано, что отношение корней уравнения ax² + bx + c = 0 равно k. Требуется доказать, что выполняется соотношение: kb² - (k + 1)²ac = 0, k ≠ 0 (1).
Пусть корни равны t и kt (их отношение равно k). Тогда по теореме Виета сумма корней равна t + kt = t(k + 1) = -b/a, а произведение t*kt = kt². Нам потребуется ещё квадрат суммы корней: t²(k + 1)² = b²/a²
Рассмотрим сначала случай, когда t = 0. Тогда kt = 0, а уравнение, имеющее два совпадающих нулевых корня может иметь лишь вид: ax² = 0 (можно доказать и по той же теореме Виета), т. е. b = c = 0. Подставляя их в условие (1), получаем верное равенство: 0 = 0.
Теперь пусть t ≠ 0. Умножим условие (1) на t², получим:
kt²b² - t²(k + 1)²ac = 0
Подставляя сюда из предыдущих равенств kt² = c/a и t²(k + 1)² = b²/a², получаем:
cb²/a - (b²/a²)*ac = 0;
cb²/a - cb²/a = 0
Получили тождество. Необходимость доказана.
Достаточность. Приведу другой способ - через теорему Виета (у Вас - через дискриминант, так тоже можно).
Пусть теперь выполняется условие (1). Обозначим отношение корней уравнения через m. Требуется доказать, что m = k. По аналогии с предыдущими равенствами можно написать, что:
t²(m + 1)² = b²/a²; mt² = c/a.
Разделим равенство (1) на a:
kb²/a² - (k + 1)²c/a = 0
И подставим сюда два предыдущих равенства:
kt²(m + 1)² = (k + 1)²mt²
Опять же, если t = 0, то уравнение имеет вид ax² = 0, т. е. оно имеет два нулевых корня, и равенство 0 = k*0 верно для любого k, а если нет, то можно поделить на t². Тогда получим:
k(m + 1)² = (k + 1)²m
Рассмотрим это равенство как уравнение относительно m. Очевидно, оно имеет корень m = k. Раскрывая скобки и убеждаясь в том, что произведение корней этого уравнения равно 1, делаем вывод, что второй корень равен 1/k, т. е. и в этом случае отношение корней равно k. Достаточность доказана.