Мой муж планирует наш общий досуг с его родителями, что делать?

Хотела бы спросить совета, поскольку уже не знаю, как реагировать. Мы живем рядом с его родителями, к нам они слава богу редко приходят, однако, почти каждый день муж к ним заходит на полчаса или часок после работы. Выходных у нас мало, поскольку он все время на работе, а я с ребенком. Сейчас лето и отпуск и практически все выходные мы с его родителями, хотя ему за 30. Сады у нас рядом, если поехать куда-то, то с ними. И так продолжается весь дачный сезон, уже радует, когда холодно, его родители сидят дома и у нас не возникает конфликтов на этой почве. На просьбы поехать втроем с ребенком без них, он прикрывается тем, что у них дружная семья, хотя у меня тоже дружная и я не пихаю везде своих родителей, так как считаю, что мы отдельная ячейка общества и с родителями не нужно так часто встречаться.

Я уже не знаю, что делать, как ему объяснить, потому что не доходит. Я устала все время проводить выходные с ними или порознь от мужа, когда мы поругаемся на этой почве.