Сын мужа от первого брака со мной бесится, а с мужем спокойный

С мужем познакомилась уже когда они развелись с бывшей. Сыну 4 года, в принципе он послушный, не избалованный, ко мне хорошо относится, никогда не хамил, не грубил мне, живет больше с матерью, но когда у нас и когда я с ним остаюсь одна, сразу начинает бесится, шуметь, стоит только мужу прийти, он вообще ко мне не подходит особо, и также когда муж уходит, сын сразу начинает грубо говоря меня доканывать)) при муже он как будто боится со мной общаться, стесняется, без мужа он прям сразу не стеснительный становится. Не могу на него кричать, ребёнок не мой, ругать тоже не могу, говорю спокойно, чтоб не кричал и не баловался, помогает не надолго. Муж просто может на него прикрикнуть, он это знает. С матерью тоже он также, не слушается ее. Нужно стать строже или как?