Почему система, состоящая из Солнца, Земли и Луны, не является замкнутой?

Не в этом дело. Система не является замкнутой хотя бы потому, что есть другие планеты, которые своим тяготением влияют, - пусть и слабо, на уровне малых возмущений, - на движение Земли и Луны.

Вот небольшая иллюстрация. На основании анализа малых возмущений орбиты Урана Леверье рассчитал орбиту того, что потом было названо Нептуном, и подсказал, куда направить телескопы - так Нептун и был открыт. А расстояние между Ураном и Нептуном куда больше, чем между Землей и Марсом и, тем более, между Землей и Венерой. Так что замкнутой систему Солнце+Земля+Луна можно считать с известной натяжкой, хотя для большинства приложений точности такой модели может и хватить.

Потому что замкнутых систем в природе никогда не существует.
Любая реальная система в природе является в той или иной степени открытой. Замкнутые системы существуют только в теории, ибо нельзя учесть влияние всей остальной Вселенной, но можно этим влиянием приближенно пренебречь, если это влияние мало по сравнению с влиянием внутренних сил.

P.S. А Вы точно хотели спросить про замкнутость системы трех тел? Может хотели спросить про неинтегрируемость системы трех тел?

Чушь какая-то.

Вообще-то она ПРАКТИЧЕСКИ ЗАМКНУТА

Ну то есть кесть влияние других планет, но оно невелико
Ещё гравитационная система излучает гравитационные волны, но это вообще бузумно ничтожный эффект... .
А то, что ращение происходит по орбите в форме эллипса и притяжение постоянно меняется - не имеет отношения к замкнутости, если конечно гравитационное поле тоже учитывать... .

Замкнутой называется система, на которую не действуют никакие внешние силы (тела) .
А вокруг Солнца, Земли и Луны полным-полно других тел.