К сожалению, по функционалу к mathtype мало близких программ. Т. е., если вас волнует возможность вставлять дроби, индексы и т. д. с помощью горячих клавиш, если Вы имеете это ввиду под "схожестью".
К сожалению, большинство подобных программ для линукса либо используют TeX, либо только через мышку и менюшки. LibreOffice.Math например...
Мне больше всего понравился Lyx - он позволяет набрать на Tex, например \frac и на экране появляется дробь, в которую можно ввести необходимые значения. Т. е. в нем не надо полностью все набирать на TeX, можно видеть промежуточный результат
Еще есть Texmacs - тоже интересная программа