Дом соседа является границей территории между нами, и забор я должен делать на своей территории.

Ваш сосед нарушил правила строительства. Сделайте забор продолжением с двух сторон от стены здания . Можете также построить забор и впритык к стене его дома, но будут проблемы с соседом. Ситуация сложная. Право на вашей стороне, но оно вам нужно? Судиться и рядиться?