Что означает ошибка в Паскале

Паскаль при вызове процедур/функций память под параметры, локальные переменные и возвращаемые значения выделяет в стеке. Количество памяти под стек ограничено и составляет по умолчанию 16Кб ( меню Options|Compiler|Memory Sizes... ). При таком способе описания function fmin(x:mat; i,j:word):real; при вызове функции вся память выделенная под переменную a копируется в стек ( передача по значению ), а это только для параметра x - 100*100*4=40000 байт. Понятно что переполнение стека обеспечено.
Как бороться - уже было написано - передавать параметры по ссылке ( var ) или выделять память для больших переменных динамически и работать с указателями ( это касается и локальных переменных функции) .
Переполнение стека также может возникать при длинных рекурсиях (когда функция/процедура вызывает саму себя много много раз).

Как уже говорили, поправить в ф-ции fmin передачу массива по ссылке, а не по значению.
Однако размер стека, выделяемый программе, можно увеличить директивой компилятора
{$M 65520,131072,655360}
Здесь первое число -- размер стека (по умолчанию 16384), второе - минимальный размер доступной памяти для динамических переменных (0..655360), третье - наибольший размер этой памяти (д. б. больше или равно второму числу) .
Эту директиву нужно поместить в начало программы, в Unit-ах она игнорируется.

попробуй поменять
function fmin(x:mat; i,j:word):real;
на
function fmin(var x:mat; i,j:word):real;
Передавать массивы по значению не есть гуд.

переполнение стэка. . используй динамическое выделение памяти под матрицу !

стучи в агент