Как вычисляют состав планеты в иной солнечной системе, скалистая или газовый гигант?

Масса (это видно по взаимодействуют с другими объектами) и размер. Большая и лёгкая - газовая, большая и тяжёлая - скалистая.

На глаз

Для предположений о составе нужно определить плотность экзопланеты.
Большинство экзопланет открыто транзитным способом - когда планета проходит перед своей звездой, и телескоп фиксирует небольшое ослабление света. По степени этого ослабления можно рассчитать отношение размеров планеты и ее звезды. Размеры звезды принимаются обычно по модели с учетом спектрального класса, светимости, удаленности и т. д. Получают радиус экзопланеты.
Массу (с поправкой на наклон орбиты к лучу зрения) крупных планет определяют методом лучевых скоростей - по смещению спектральных линий звезды из-за эффекта Доплера, когда планета своей гравитацией колеблет звезду относительно их общего центра масс (со скоростью в метры и даже десятки сантиметров в секунду, но это ухитряются засечь).
Массу небольших планет в многопланетных транзитных системах (т. е. где несколько планет проходят на фоне звезды) успешно определяют методом тайминга транзитов. Из-за взаимных гравитационных возмущений, планеты чуть отклоняются от четкой периодичности транзитов - и можно вычислить их массы (выше определенного предела обнаружимости).
Кроме того, в отдельных случаях можно определить состав (или хотя бы наличие) атмосферы - либо прямо спектрографией, либо по изменению проходящего через атмосферу планеты спектра зведы, либо по разнице в виде транзитов на разных частотах (можно засечь протяженную атмосферу или высотную дымку).

В остальных случаях предполагают модельно - планета массой (или радиусом) с Юпитер, скорее всего, и будет газовым гигантом. Однако в классе суперземель обнаружилось немало экзопланет, условно названных "газовые карлики" - планеты массой в несколько земных, а размером с Нептун.

Спектральный анализ, однако...

Свет через призму пускают. Он показывает. Хим. Элементы