Относится ли математика к естественным наукам? Или это все таки раздел лингвистики.

Скорее всего Гиббс имел ввиду, что с помощью математики, как с помощью некоего языка, можно описать физическую картину мира.

Математика не является естественной наукой.
Математика это мета-наука.
Другой пример мета-науки, это философия.

Мета-науки изучают не конкретные материальные или идеальные сущности, а их отношения и разрабатывают методы для других наук.
Например, математика разрабатывает количественные методы исследования для других наук и изучает количественные отношения, а философия разрабатывает качественные методы исследования для других наук и изучает качественные отношения.

Все науки, которые не являются мета-науками грубо можно разделить на три группы:
1. Естественные (астрономия, физика, биология, география, океанология, метеорология, вулканология и т. п. )
2. Социальные или общественные (история, экономика, социология, правоведение, юриспруденция и т. п. )
3. Гуманитарные (этика, эстетика и т. п. )

Математика в основном применяется в естественных науках и поэтому часто ошибочно её относят к естественным наукам (как, например, администрация этого сайта, которая не создала для математики своей категории) .
В гуманитарных науках в основном применяются качественные методы исследования. Поэтому философию часто ошибочно считают гуманитарной наукой.
В социальных науках применяются и математика и философия.

Есть много наук, которые являются промежуточными между этими тремя группами. Например, медицина, психология, экология и др. Лингвистика, это тоже такая промежуточная наука, которая находится на стыке гуманитарных и социальных наук. Поэтому математика, это не раздел лингвистики.

Матеатика, это точная наука Это язык чисел.

А может, лингвистика - это раздел математики?
Математика - это язык науки. Собственно, любая наука может считаться наукой только тогда когда она формализуема математически.