Как измерили площадь земли если рельеф не ровный?

А приблизительно. Ибо такая точность при оценке площади целой планеты не имеет никакого значения. А при измерении площади локальной местности, рельеф учитывается.

в геодезии считаю площадь горизонтальной проекции.

да и та зависит от выбранной картографической проекции. Например, в принятой в мире WGS-84 (и ее клонах в других странах) площадь получается немного меньше, чем в наших СК-42, 63 или 95

площадь земли величина условная, и весьма приблизительная

по формуле площади поверхности шара

Нет никакого смысла считать площади точно: чем больше мы уточняем и чем больше неровностей рассматриваем, тем больше площадь. Например, если мы уточняем с точностью до песчинок, то площадь плоской поверхности метр на метр где-то в 2 раза меньше чем площадь метр на метр, засыпанная песком. Если будем уточнять площадь с точностью, бóльшей, чем размер песчинок, то площадь возрастёт многократно, поскольку поверхностью станет суммарная поверхность всех песчинок. Это справедливо и для бóльших и для меньших неровностей. Если где-то стоит дом, то нужно добавлять площадь поверхности параллелепипеда без нижней грани. А если смотреть ещё точнее, с точностью до того же метра, то добавляются ещё и внутренние площади помещений.. Полагаю, изменчивость морских волн, в т. ч. волн с размерами более 1 метра, ежесекундно изменяет площадь поверхности на процентов эдак 10-20 вверх-вниз, если не больше..

Точность, с которой мы будем считать, будет чистой условностью, т. е. результат не будет иметь практического смысла.

Эти колебания рельефа ничтожны в масштабах Земли, а точнее ее линейных размеров.

Значит, измеряли по радиусу.

С помощью интегральных уравнений. Но с учетом неровностей рельефа площадь поверхности будет зависить от выбора фрактальной размерности, и соответствено результат может быть от площади шара до безконечности в зависимости от длинны "измерительного шеста"