Какими были бы орбиты Луны и Земли относительно друг друга, если бы их массы были бы равными?

Если бы они летали долго (миллиарды лет), то только круглыми вокруг общего центра масс (или вокруг геометрического центра, если они идеально одинакоы с идентичным расположением плотности), иначе элипс за пару миллионов лет вытянулся бы и они бы разлетелись.

про устойчивость вообще никто ничего внятно не скажет. Задача трех тел (не забывайте Солнце!) решается только численно, а "потолок" таких решений не более 100 миллионов лет.

кстати, про устойчивость нынешней системы тоже никто ничего не скажет.

Вид и размер орбиты будет зависеть от того, чему равными будут массы?
Массе Луны, или массе Земли?
А вообще - спросите это у Плутона и Харона. Их массы, конечно, не равны в точности друг другу, но Харон - очень большой спутник для Плутона. В результате их центр масс находится между ними, т. е. и Плутон, и Харон обращаются вокруг этой точки - каждый по своей орбите. Плутон + Харон = двойная планета.
Главное последствие наличия крупного спутника - то, что не только Харон обращён к Плутону одной стороной, но И ПЛУТОН К ХАРОНУ - ТОЖЕ.
Период вращения Плутона вокруг оси равен периоду вращения Харона вокруг оси и равен периоду их обращения вокруг центра масс.

они быстрее бы оборачивались вокруг друг друга и на большем расторянии были бы, и летали бы обе по орбите "элипс" а не луна вокруг земли.

да хрен его знает