Раздражает кот, когда прячется под кровать. Как себя настроить?

Просто бееест, когда мой кот лезет под кровать или за тумбочку. Я его сразу достаю шваброй и выкидываю из комнаты, где негде укрыться.
Как себя настроить, чтобы не обращать внимание? Объяснения что такова кошачья природа или что он меня боится не допускаются. Он везде ходит за мной, даже в туалет не дает сходить.