Что в математике обозначают знаки [ и ] ?

В данном случае, видимо, задается последовательность действий, т. е. сначала выполнить вычисление в круглых скобках, а потом в квадратных.
А во общем случае это зависит от контекста задачи.

1. просто скобки, обычно при вложении.
2. интервалы (множества) , что перешло в Паскаль. В регулярных выражениях это специальные символы, задающие символьный класс. В языках программирования - элемент массива.
3. функции, например, целая часть числа, векторное произведение, замыкание множества. У Кнута: [логическое выражение] = 0, если ложно, 1 если истинно. Так функций очень много, то всевозможных применений не сосчитать.

Вот собственно и всё, так как вся математика - это множества и функции.

Вы ничего не перепутали? Может это прямые скобки: |7-4|?
Если прямые - то это модуль полученного выражения.
Если же квадратные, то в данном случае они означают то же, что и круглые скобки. Их можно смело заменить на (7 - 4).
1. Обычно квадратные скобки ставят при рассмотрении числовых отрезков (отрезков на числовой прямой) . Квадратная скобка в этом случае означает, что число (граница отрезка) входит в отрезок, а круглая - что не входит.
Например, отрезок [4; 7). В него входят все числа, стоящие между числами 4 и 7. Причём число 4 входит в это множество, а число 7 не входит.
2. Иногда квадратными скобками заменяют обычные круглые в математических выражениях, если круглых скобок очень много и можно запутаться. Особенно, когда внутри одних скобок стоят другие, а иногда и более 2-х скобок подряд.