Нет единой точки зрения, откуда произошло само слово мат. В некоторых справочных пособиях можно найти версию, что “мат” - это разговор (в качестве доказательства этого предположения приводится выражение “кричать благим матом”). Но почему слово мат так похоже на слово мать?

Есть ещё одна версия, связанная с тем, что слово мат пришло в русский язык после появления выражения послать к матери. Практически, это одно из первых выражений, ставших неприличным. После появления именно этого словосочетания многие слова, существовавшие и ранее в языке, стали относить к бранным и неприличным. Вообще, надо отметить, что, практически, до 18 века те слова, которые мы сейчас относим к матерным и ругательным, таковыми вовсе не являлись. Слова, ставшие неприличными, обозначали ранее или какие-то физиологические особенности (или части) человеческого тела, или вообще были обыкновенными словами. Так, например, глагол блядити в древнерусском языке имел значение - “пустословить, обманывать”. “Многие слова, считающиеся ныне оскорбительными прежде такими не были. Матерные слова несли функцию обычных слов. Их можно в изобилии встретить в сочинениях протопопа Аввакума и патриарха Никона и много еще где. А вот в письме запорожцев султану, написанному специально, чтобы оскорбить адресата, ни единого матерного слова нет. ”
Подробнее - здесь.
http://www.proza.ru/2009/07/28/517
http://vpitoy.narod.ru/mathistory.html