Пусть f(x) : R -> R такова, что f(f(x)) = x^2 - x + 1. Найти f(0).

Везде всюду ниже f^n - степень отображения, т.е., например, (f^2)x = f(f(x)), n - неотрицательное целое.

Заметим, что (f^2)(0) = 1 и, кроме того, 1 - неподвижная точка f^2
=>
(f^3)0 = (f^5)0 = f(1)
=>(f^3)0 - непожвижная точка f^2, т.е. корень уравнения x^2 - x + 1 = x, то есть единица,
=>(f^3)0 = 1
=> (f^2) (f(0)) = 1, т.е. f(0) - корень уравнения x^2 - x + 1 = 1, т.е. 0 или 1.

Вариант 0 исключен (т.к. при f(0) = 0 ноль был бы неподвижной точкой f^2, то не так), следовательно, f(0) = 1.

НО: это если множество решений нашего функционального уравнения не пусто.
Насчет исследования на пустоту подумаю, может, попозже, сейчас некогда, сорри.
Впрочем, об этом формально и не спрашивали: ведь для всякого решения из пустого множества решений справедливо f(0) = 1. Как, впрочем, справедливо и f(0) = 1000. Поэтому нас формально не колебет, пусто ли множество решений, отвчааем f(0) = 1 и будем формально правы.

У меня такое впечатление, что такая функция не существует.
Если она существует, то, очевидно, должна иметь вид многочлена, линейного или квадратного, иначе не может быть, что f(f(x)) = x^2 - x + 1
Пусть это будет линейный многочлен: f(x) = ax + b. Тогда:
f(f(x)) = a(ax + b) + b = a^2*x + ab + b - опять линейный многочлен.
Пусть это будет квадратный многочлен: f(x) = ax^2 + bx + c. Тогда:
f(f(x)) = a(ax^2 + bx + c)^2 + b(ax^2 + bx + c) + c - это многочлен 4 степени.
Я даже не буду раскрывать скобки.
Таким образом, квадратный многочлен никак не может быть функцией такого вида.

Алгоритм решения такой