почему я его раздражаю

Так и есть. Что значит почему? Тебе лучше знать, а пока не знаешь так и будешь раздражать. Сваливай по тихому, вы нервы трепете друг другу больше ничего.

возможно задаете ему не те вопросы которые он хочет услышать
либо часто навязываетесь ему