Как поступить в такой вот ситуации?

Я познакомился спустя 26 лет с родственниками по отцовской линии. (когда я был совсем маленький, отец с матерью разошлись.) Дело в том, что большинство родственников презирают моего отца из-за того, что он пьяница и тюремщик (это раскрылось со временем), поэтому он даже не живёт в том же городе, что и они. По началу я многим родственникам пришелся по душе, да и они мне тоже. Но спустя год обо мне пошли слухи, что я ничем не лучше своего отца, что я "обманщик, лодырь и всякое подобное". Это я узнал до недавнего времени, потому что эти сплетни облетели все уши тех людей, уоторые меня знают. (даже заочно). Я догадывался кто распространял их, но не был вполне уверенным в этом. Погятно, что сплетни не появятся на пустом месте, что у всего есть причины. Дело в том, что я не хотел рассказывать о своём "тёмном" прошлом (см. предыдущий вопрос), боясь не понравиться им при знакомстве, другим языком выражаясь "не хотел говорить, чтоб не отвернулись". И тут пошли сразу же разногласия. Кто-то вообще стал жалеть, что я приехал к ним. (живу я отдельно от них). Некоторые стали призерать. Помощи я у них не просил особо никогда, а когда встал на ноги немного, начали высмеивать всячески. Я в силу своего нрава или характера, лишь отшучиваюсь и отмалчиваюсь на их издевки. Я по прежнему стараюсь с ними поддерживать отношения, но люди судя по всему скоро сядут на шею. И денег им займи и помоги с устройством в детсад, и отвези куда-нибудь по их делам не считаясь с моими заботами и т.д. А если отказываюсь, начинают обижаться. Опозорили меня на весь город и требуют с меня что-то вечно. Пытался поговорить насчет сплетен и вообще насчет отношения ко мне, а они отмалчиваются, делая вид будто ничего дурного не происходит. Иногда думаю прекратить с ними отношения, но другой то родни больше нет у меня. Что посоветуете люди добрые?