свобода передвижения

Есть дом. огороженный забором. через дом тропа, калитка и ворота открыты, чтобы люди свободно проходили. во дворе дома есть площадка. пару жильцов дома ругаются на компанию нашу, что мы часто сидим в их дворе. ссылаются на частную собственность, как можно ответно "уделать" со стороны закона.

Двор открытый, ничего незаконного не делаем.