По существу, задача - чисто аналитическая. Очевидно, должно получится что-то наподобие вот этого:
Сторону квадрата я обозначил за a. Все вершины прямоугольника должны лежать на сторонах квадрата. Пусть одна из вершин отсекает от соответствующей стороны отрезок x. Чтобы в квадрат можно было вписать прямоугольник, надо, чтобы линия исходила из конца этого отрезка под углом 45 градусов. При другом угле наклона один из перпендикуляров к отрезку, заключённый внутри квадрата, окажется больше другого, и прямоугольник вписать будет нельзя:
Теперь очевидно, что при такой конфигурации одна сторона прямоугольника будет sqrt(2) * x, другая - sqrt(2) * (a - x). При делении, скажем, второй на первую корень из двух сократится и останется (a - x) / x = a/x - 1.
Это соотношение задано по условию. Пусть оно задано в виде отрезка с точкой, которая делит отрезок в отношении k : 1. Тогда из условия a/x - 1 = k находим a/x = k + 1, откуда x = a / (k + 1).
Теперь надо построить число 1 / (k + 1).
Имеем отрезок AB с точкой M:
Теперь, зная a, строим x. Это нетрудно. Дальше просто - отмечаем на квадрате x на смежных сторонах, строим перпендикуляры и вписываем прямоугольник. Задача решена!