Почему чем больше масса у планеты тем меньше плотность??

Ну, скажем, это не всегда так.
Сравните Юпитер и Сатурн ) Или Венеру и Землю.

Планета Масса (по отношению к Земле) Средняя плотность (г/см³)
Венера 0,815 5,24
Земля 1 5,515
Юпитер 317,83 1,33
Сатурн 95,159 1,70

А если говорить о нейтронных звездах (не планета, конечно) , то вообще ))
Нейтронная звезда - астрономический объект, являющийся одним из конечных продуктов эволюции звёзд, состоящий из нейтронной сердцевины и сравнительно тонкой (∼1 км) коры вырожденного вещества, содержащей тяжёлые атомные ядра. Масса нейтронной звезды практически такая же, как и у Солнца, но радиус составляет около 10 км. Поэтому средняя плотность вещества такой звезды в несколько раз превышает плотность атомного ядра (которая для тяжёлых ядер составляет в среднем 2,8·10^17 кг/м³). Считается, что нейтронные звезды рождаются во время вспышек сверхновых.

Но в целом, конечно, малые средние плотности больших планет объясняются тем, что твердое ядро каждой большой планеты покрыто громадным слоем атмосферы, которая обладает малой массой, но весьма увеличивает видимый объем планеты.