может ли -x в квадрате равняться трем?

Если вы имеете в виду вот это: (-х) 2 = 3, то вполне может. Общеизвестно, что не только положительные, но и отрицательные числа при возведении в квадрат дают положительное число, например (-7)2 = 49.

Другое дело, если вы имеете в виду - х2 = 3.
Это равенство неверно. Кстати, по той же самой причине: х2 всегда положительно, значит -х2 всегда отрицательно и не может равняться 3.