Положение точки относительно прямой. По координатам.

"Есть прямая, есть координаты ее начала и конца. " - давайте будем аккуратнее со словами, скажем, что не координаты начала и конца, а просто двух точек, лежащих на этой прямой. Я так понимаю, речь идёт о плоскости (потому что такая задача имеет смысл только на плоскости) и координаты - декартовы прямоугольные - уравнение прямой Ax+Bу+С=0, подставляя в него последовательно сначала координаты одной точки, потом второй, получим систему из 2-х уравнений - из неё находим А, В и С - в итоге получаем уравнение прямой, коэффициенты определяются неоднозначно, но две переменные можно выразить через третью - выберите так, чтобы B (коэффициент при у) было ПОЛОЖИТЕЛЬНЫМ (из-за этого и возникают у Вас противоречивые результаты - Вы это не учли) - и тогда, если подставите координаты точки, не лежащей на прямой в уравнение этой прямой, Ax+Bу+С>0 если точка лежит выше прямой и Ax+Bу+С<0, если ниже

Хоть один пример, когда выходят противоречивые результаты - в студию.

1) Составить уравнение прямой по 2-м точкам, у=ax+b
2) Подставить координату х точки в полученное уравнение
3) Посмотреть, ордината прямой оказалась больше или меньше ординаты точки.
Всё.

у прямой нет начала и нет конца, точнее начало и конец находятся в бесконечности

без уравнения прямой вы вообще как представляете себе ответ?
находите координату y точки прямой, координата x которой равна координате точки, положение которой ищем - делается это пропорциями; если найденная координата y больше координаты точки на плоскости, то эта точка находится ниже прямой (прямая выше точки) , иначе точка находится выше (прямая ниже точки)