Если не складываются отношения с семьей мужа?

У мужа два брата и сестра. И с одним из братьев отношения не сложились. При первом знакомстве, он как то так, с ехидством сказал, что вроде я очередная девка (грубо сказал).
Но оказалось не очередная, а уже несколько лет жена. Я думаю он и не помнит или значения не придал словам. Но я забыть не могу и с каждым днем все больше ненавижу его. А он ,как назло, любит зайти частенько в гости (ему нравится,как я готовлю) и я корчу из себя гостеприимную хозяйку. И еще проблемма в том, что другой брат и сестра хотят часто со мной общатся, у нас хорошие отношения. И я боюсь сорватся на них. Намекала мужу, если они хотят так часто общатся, то где-нибудь на нейтральной территории или у брата. Муж не воспринимает серьезно. А я не могу прямо сказать о моей ненависти.
У меня такой характер, что я ничего не забываю. Я не агрессивна, не мстительна. Но этот человек, как вечный раздражитель, не дает мне притупить негатив.