Нет, это не мат.
Хер - это название буквы Х русского алфавита. Слово это вполне цензурное, равно как и например слово "похерить": происхождение слова "похерить" - от выражения "положить хер", то есть перечеркнуть косым крестом.
Однако слово "хер" стали применять в качестве эвфемизма для замены столь же короткого матерного (похабного) слова на ту же букву. Три русских слова - обозначающие мужской и женский половые органы и половой акт - были провозглашены похабными специальным указом царя Алексея Михайловича в 17 веке. С эвфемизмами часто бывает, что слово, изначально служившее эвфемизмом, само начинает восприниматься как похабное и отождествляться с тем словом, которое оно заменяло.