В координатной системе хОу заданы точки А(1; 0) и В(0; 1), а также проведён с начала координат в 1-м квадранте луч, ...

Проведя перпендикуляры АК и ВР к лучу ОМ, нетрудно убедиться, что линейные размеры треугольника АКМ в корень из трёх раз больше, чем треугольника ВМР, КР=(√3-1)/2, а РМ=1/2, откуда ОМ=(1+√3)/2.
Далее понятно.

Вроде задачка напрашивается на векторы:
AM= {x - 1; √3 x}
BM = {x; √3 x - 1}
OM = {x; √3 x}
Задачка сводится к нахождению x, при котором угол между AM, OM равен углу между BM, OM.

Решение через векторы и их скалярное произведение - самое напрашивающееся, но там получаются сложные выкладки, и главное - уравнение высшей степени, которое трудоёмко решить.
Я нашёл такой способ, к тому же в более общем виде, с почти произвольным углом α и с данными точками: А(1; 0), B(0; 1). Причём сначала решал общим координатным методом, затем упростил решение.

Сначала рассмотрим треугольники OBM и OAM (cм. рис.) и воспользуемся в них теоремой синусов: OB : sin∠OMB = OM : sin ∠ OBM и OA : sin ∠ OMA = OM : sin OAM.
В нашем случае OA = OB = 1, ∠OMB = ∠ OMA = β, т.к. OM - биссектриса AMB.
Отсюда 1 : sin β = OM : sin ∠ OBM и 1 : sin β = OM : sin ∠ OAM, откуда sin ∠ OBM = sin OAM. Из равенства синусов углов следует, что сами углы либо равны, либо дополняют друг друга до 180°. Если они равны, то в этих треугольниках равны по два угла, следовательно, и третьи углы равны, т.е. α = 90° - α, что возможно только при α = 45°, а это - не наш случай (его мы разберём потом отдельно). Если же углы дополняют друг друга до 180°, то в четырёхугольнике OAMB два других угла тоже дополняют друг друга до 180°, причём один из них - это угол AOB - прямой. Значит, угол AMB тоже прямой.

Далее можно найти координаты точки M через скалярное произведение векторов, а можно вновь воспользоваться теоремой синусов, скажем, в треугольнике OAM, уже записанной ранее: 1 : sin β = OM : sin ∠ OAM. Отсюда OM = sin ∠ OAM / sin β
В данном случае sin β = sin 45° = (1/√2), sin ∠ OAM = sin (180° - (45° + α)) = sin (45° + α) = (1/√2)cos α + (1/√2)sin α.
Отсюда OM = ((1/√2)cos α + (1/√2)sin α) / (1/√2) = cos α + sin α.

Отсюда координаты точки M равны:
x(M) = OMcos α = (cos α + sin α)cos α = cos²α + sin α cos α
y(M) = OMsin α = (cos α + sin α)sin α = sin²α + sin α cos α.

Подставляя сюда α = 60°, получаем

x(M) = (1/4 + √3/4) = (1 + √3)/4;
y(M) = (3/4 + √3//4) = (3 + √3)/4

Всё верно.

Альтернативное решение предполагает переход в новую систему координат поворотом старой на угол α. Там также всё сходится.

В частном случае при α = 45°, как легко убедится, абсолютно любая точка на луче OM удовлетворяет требованию.

Возможно, есть ещё более простое решение.