Как поступть?

Это его гости, тут он прав. Твое согласие не нужно, ты ему никто.

Отличный вопрос.
Вы в разводе. И это прекрасно - он вас НЕ ИЗНАСИЛУЕТ.
Вы приводите МУЖИКОВ, а он ЖЕНЩИН. В чём проблема. С какого-такого перепуга он ДОЛЖЕН ИСПРАШИВАТЬ У ВАС СОГЛАСИЯ НА ГОСТЕЙ. А если он гоп-компанию ПАРНЕЙ пригласит - то МОЖНО.
Он привел женщину, это просто подруга. Посидели, поели-пили и разошлись.

Так вот ответ на ваш вопрос ПО ЗАКОНУ НЕ МОЖЕТЕ.
После развода (брачные отношения) надо было РАЗДЕЛИТЬ ЖИЛУЮ ПЛОЩАДЬ. И каждый на свою маленькую площадь приводит своих знакомых и друзей.
Именно КАЖДЫЙ.

А сейчас вы только можете МОРАЛЬНО ДАВИТЬ НА ЕГО ПСИХИКУ.
"Как тебе не стыдно. Знаешь, что сегодня я приду рано, а привел бабу. Уж если так тебе надо, то приводи когда МЕНЯ НЕТ".

В целом вас эта баба ЗАТРАГИВАЕТ. Это значит, что вы ревнуете. Любите своего БЫВШЕГО и не хотите его отдать другим бабам.
Я-Я-Я лично ПЯТЬ лет прожил в разводе в одной квартире. А потом помирились, ПРОСТИЛИ ДРУГ ДРУГУ взаимные обиды. Вот уже еще ПЯТЬ ЛЕТ прожили.
Вот меня очень расстраивает, что он УЖЕ НАШЕЛ СЕБЕ новую. Это прямой путь к разделу квартиры и имущества. А это сложный путь.

До 23.00 может...

По закону, не по закону- размахала бы ты их по полной, что бы потом в гости ни кто ходить не захотел и водить тоже желание пропало! У меня маман, когда ее дома не было, папашка любовницу привел, думал она не придет, а тут обознатушки-перепрятушки, короче вся одежда милков летела с 5этажа, а они голые потом ее собирали.

если будут шуметь и тревожить, тогда в праве выгнать.
вы бы свою долю продали бы, да и купили бы комнату за тридевять земель от него.... Нервы дороже.
Если нельзя продать, сдайте свою комнату, а себе снимите на другом конце города.

К сожалению, вы с этим ничего сделать не можете. Я вам искренне сочуствую, попасть в такую ситуацию наверно очень тяжело. Попробуйте может поговорить с ним "по-человечески", все-таки не последний же он кретин, наверняка поймет. А может как раз и понимает, и это все его кривая попытка вернуть вас?

он приглашать может, а вы выгнать нет.

он может. и вы не отставайте.

думаю тут нужно спрашивать не в меэле, а в полиции.
да и проще просто развестись.

По закону вы не выгоните. Проще договориться с мужем, насчёт посетителей.