Пожалуйста помогите решить сложную жизненную ситуацию в отношениях! Теряюсь что делать...

У меня сложилась такая ситуация: мой любимый человек терпеть не может моего маленького братика (4 года). А все дело в том, что когда он приходит ко мне домой в гости - братик начинает приставать к нему, а молодой человек ему говорит "отстань", но тот не понимает и продолжает приставать (ну маленький ребенок, что с него взять!) а молодой человек начинает нервничать, его это бесит, он начинает злиться от того что сделать ребенку ничего не может, а слова "отстань" ребенок не понимает. И сегодня он мне сказал - я не буду приходить к тебе в гости, пока твой брат дома. Он меня раздражает и сталкиваться с ним я не хочу. Мне стало обидно. Он терпеть не может моего брата - а он же частичка моей семьи! А недавно я узнала что меня недолюбливает его мама, и плохо обо мне отзывается. Тем не менее я решила во что бы то мне не стало наладить контакт с ней, потому что я понимаю что если я хочу и дальше встречаться со своим любимым человеком, и через некоторое время, например, стать его женой, мне придется уважать его семью и иметь тесный контакт с его мамой. А он не хочет налаживать контакт с ребенком, с моим маленьким братом! что же делать....очень обидно, зачем же он принимает такие категоричные решения на его счет...