Какой была бы орбита планет если гравитация ослабевала не обратно пропорционально квадрату расстояния, а как кубу?

Ну вряд ли квадратная, тоже круглая скорее всего

Радиусом поменьше была бы.

Это была бы катастрофа.
Все планетные и звёздные системы стали бы неустойчивыми.
Земля отдалилась бы от Солнца и превратилась бы в ледяной шар.
Практически всё живое неминуемо погибло бы.

Всё давно известно. Например Ландау + Лифшиц том 1 параграф 14 уравнение 10
Подставляй формулу для U=f(r)
интегрируй.

Если бы сейчас гравитация Солнца стала ослабевать, то Земля начала бы отдаляться от Солнца

Почему пространство трехмерно?
http://physiclib.ru/books/item/f00/s00/z0000034/st033.shtml
"
Эренфест анализирует конкретные следствия этих законов взаимодействия и движения, в числе которых - замкнутость и устойчивость орбит планетной системы, а также спектр атома водорода, полученный на основе атомной модели Бора.

В результате для свойств планетной системы он приходит к следующим выводам: в двумерном евклидовом пространстве возможно только так называемое финитное движение (то есть такое, при котором радиальная координата изменяется в конечных пределах), причем замкнутыми оказываются лишь круговые планетные траектории; а в евклидовом пространстве с числом измерений более трех финитное движение соответствует лишь круговым траекториям планет и к тому же всегда неустойчиво любое малое возмущение приводит либо к падению планеты на гравитирующий центр системы (на "солнце"), либо к удалению ее в бесконечность.

Таким образом, в обоих случаях выявляется разительное отличие от трехмерного евклидового пространства. B этом пространстве возможно как устойчивое финитное, причем всегда с замкнутыми - эллиптическими, кеплеровскими траекториями, так и инфинитное движение планет.
"

есть подозрение, что орбита не была бы эллиптической, и вообще, была бы