а почему масса не увеличивается, или увеличивается?

В начале XX века как следствие стремления ввести классическое выражение для импульса в СТО ввели выражение для релятивистской массы:
mrel = m/√(1 - [v/c]²).
Тогда выражения для релятивистских энергии и импульса соответственно принимают вид:
E = mrel*c², p = mrel*v.
Тогда релятивистскую массу можно выразить следующим путем:
mrel = E/c² = p/v.
Таким образом, исходя из написанного, релятивистская масса есть мерой инертности тела, аддитивна, неинвариантна при переходе между ИСО, полностью отождествляется с энергией и наличествует у безмассовых объектов (чувствуете юмор?) , что "помогает" объяснить его импульс.
Вроде бы все тип-топ, но при этом появляется множество "подводных камней":
1. Вводя понятие релятивистской массы, отождествляют релятивистский скаляр и векторную компоненту. И если применение лоренц-фактора γ = 1/√(1 - [v/c]²) для выражения энергии объясняется лоренцевыми преобразованиями 4-вектора энергии-импульса, то применение оного для массы не имеет никаких математических оснований.
2. Вводятся четыре типа массы - покоя, релятивистская, продольная и поперечная, причем релятивистская масса для массивных тел равна поперечной.
3. Если релятивистская масса является аддитивной (вводится закон сохранения релятивистской массы) ,
Mрел. = (E1 + E2)/c²,
то масса покоя (в терминологии релятивистской массы) - величина в общем случае неаддитивная, т. к. зависит от углов между импульсами. Т. е. , эти две массы мало того что подчиняются разным законам, так еще и введение закона сохранения релятивистской массы является фактически тем же законом сохранения энергии, т. е. , есть лишним.
4. Использование релятивистской массы как меры инертности неправильно, так как сопротивление ускоряющей силе зависит от взаимной ориентации векторов силы и скорости (ускорение имеет составляющие по силе и по скорости) .
5. Введение понятия релятивистской массы безмассовых объектов (чтобы не морочиться с сильным взаимодействием, приведу как пример такого объекта фотон) подразумевает наличие у этих объектов меры инертности. В то же время, тот же фотон безинерционен, так как всегда "движется" со скоростью с в вакууме.

Потому масса свободного тела в рамках СТО всегда:
1. Инвариант модуля 4-вектора энергии-импульса:
m = √([E²/c^4] - [p²/c²]) = inv.
2. В общем случае неаддитивна:
M² = [(E1 + E2)²/c^4] - [(p1 + p2)²/c²] ≠ (m1 + m2)².
3. Эквивалент (!) энергии покоя (!).

Точно так же любят объяснять гравитационное красное смещение наличием у фотона гравитационной массы и, как следствие, потенциальной энергии в гравитационном поле. Но это грубое и ошибочное построение рушится в самом начале: гравитационная масса тождественных фотонов, "летящих" соответственно вниз и параллельно, отличается в два раза. Так о чем говорить дальше?

Теория относительности применима при ЛЮБЫХ скоростях.
При малых - она совпадает с механикой Ньютона.

Только вот про увеличение массы там ничего нет.
Масса - постоянна.
Увеличивается только энергия.

Когда мячик поднят, масса системы Земля-мячик немного больше.

Увеличивается, конечно. При любой скорости увеличивается, даже если нагреть тело, в массе оно прибавит.
Только вот увеличение это настолько мало, что не регистрируется никакими приборами.

"а почему масса не увеличивается, или увеличивается? " - а в чём разница между уткой?
"Значит кинетическая и потенциальная энергия станет больше, следовательно по теории относительности масса мячика должна менятся. " -чёй-то. приведите уравнения, описывающие это.
"Ну или по теории Энштейна, я незнаю.... " - вот оно и видно, что не знаешь.

Для поднятия мячика нужно совершить работу. Поясните, пожалуйста, в какой определенный момент времени, как вы считаете, должна увеличиться масса.

Дорогой друг с трудновыговареваемым ником, теория относительности будет применима только для того случая, когда скорость мячика будет близка к скорости света=300000000 КМ/С .

теория относительности действует только на скоростях, близких к скорости света