Как перестать нервничать из-за человека, перестать обращать на него внимание и не ссориться?

Я все время ссорюсь со своим коллегой. Он моложе меня на 17 лет, но постоянно хамит, орет, если ему что-то не нравится. Он один из моих подчиненных, но я даже не даю ему никаких указаний, т. к. в свое время мы были на равных позициях, а потом я выросла в должности. Но все равно конфликтов избежать не удается. Мне думается, он просто дурно воспитан: иногда ругается вслух матом, рыгает, может придти после пьянки с выхлопом и потом весь день спать на столе, благо, наше начальство в другом здании находится. Я не хочу его обсуждать и осуждать, просто описываю-возможно, в этом причина его скандальных выходок. Причем, начать скандалить он может при других моих подчиненных, что дискредитирует меня как руководителя. Хотела уволиться, но почему я должна уходить с устраивающей меня работы? Как мне быть? Может, вообще с ним не разговаривать? Но у нас столы даже рядом стоят... Мне кажется, он специально меня доводит, чтобы я ушла.