Как отказаться от "токсичных людей" в окружении,особенно,когда это близкие люди?

Если вас что-то раздражает, виноваты в этом вы сами.

Отказываться не надо, а указать их место следует.