будут ли "улетать" спутники в том случае, если планета будет расширяться?

Так в чем вопрос? Если Земля не расширяется, то и вопроса нет. А если расширяется, то не более, чем на миллиметры в год, что любому спутнику в ближайшие тысячелетия его существования (если он столько просуществует) совершенно безразлично.
А радиус в формуле - это радиус орбиты, на которой находится спутник. К диаметру Земли он никакого отношения не имеет. И улетит он от Земли только если превысит вторую космическую скорость, а она гораздо (в1,4 раза) больше.

А где в этой формуле первой космической скорости указан радиус планеты? R - там означает расстояние до центра масс. А оно как было прежним так и останется. Так что если бы земля действительно расширялась - всего лишь стала выше атмосфера, и некоторые спутники пришлось бы переводить на более высокие орбиты. На остальные это никак бы не повлияло.

зависимость вращения скорости от массы еще Эйнштейн открыл.
теперь смотрим на простую вещь, что такое гироскоп, точнее гироскоп с одной степенью свободы?
это маховик, а свойства маховика мы знаем:
чем он тяжелее, тем сложнее раскрутить, но он дольще крутится.
дак вот, земля по сути дела является шаробразным маховиком и крутится по кругу, паралельно еще меняя угол вращения.
и каждый раз как земля по закону гироскопа поворачивается, на пару градусов, из-за больщой массы и кинетической энергии начинается деформация земли, как следствие земля у нас не пластичная и начинает ломаться.
поэтому расширяться земля не будет, так, как проследи за воздушным шариком:
когда он крутится очень быстро, стремится по форме к диску, стоит начать менять плоскость вращенияс горизонтальной, на вертикальную он сохраняет форму диска и переносит ее в другую плоскость.
как следствие будь он покрыт цементом, мы бы видели как цемент начинал раскалываться не выдерживая изменения: )

они будут падать из-за расширяющейся атмосферы. Нужна корректировка орбиты. Кстати, на всех спутниках есть двигатели и топливо для корректировки орбиты, потому что в околоземном пространстве не полный вакуум и спутники тормозятся.