Как вежливо отшить соседа и не испортить отношений ни с ним, ни с его женой?

Писала здесь недавно, что соседка, с которой три года вообще никак не общались, решила-таки со мной познакомиться и пригласила в гости. Она с мужем развелась недавно, но живут вместе и разъезжаться не собираются. Муж ее теперь делает мне всякие такие неприличные намеки, в гости зовет, когда жены дома нет. Я вежливо отказываюсь, но он продолжает звонить мне в двери, когда моего мужа нет, звать в гости, заигрывать и т. д. Это еще соседка не знает про это, а так, наверное, возненавидит меня... А с соседями лучше или вообще никак (как и было, в принципе, все три года), либо находиться в хороших отношениях. Вообще никак уже не получится, а как сохранить отношения нормальными?
P.S. Эх, не везет мне что-то. Пару лет назад так потеряла свою лучшую подругу. Там тоже ее муж ко мне неровно дышал, хотя я и повода никакого не давала. Она об этом узнала и прекратила со мной всяческие отношения. И хоть я ей и объясняла, что мне на ее мужа плевать, она решила, что разорвав со мной отношения, обезопасит свой брак с этим кобелем. Не хочу наступать на те же грабли. Как выйти из этой пренеприятнейшей ситуации?