Попробуйте проанализировать, что Вы вкладываете в слово поговорить... Вам нужно рассказать что-то о своей жизни, о своем внутреннем мире? Вам надо, чтобы Вас понял человек, который Вам симпатичен? Почему его это тяготит?
У меня есть предположение. Просто я сама Вас - не знаю. Любой человек инстинктивно ощущает не только слова, но и движение тех энергий, которые сопутствуют любому общению. И если он в итоге общения с кем-то теряет свою энергию либо накачивается негативными. вообще несвойственными ему энергиями от собеседника, он будет сокращать или вообще прекращать общение.
Насколько Вам самому интересны другие люди?Какой из Вас слушатель? В общении с другими очень важно "ловить волну", на которой "звучит" другой. Того человека оставьте... попробуйте найти в себе не очень тонкие, но позитивные частоты, присущие многим людям, и пообщайтесь с другими на них. Потренируйтесь вызывать у других симпатию - это полезное практическое умение, которое можно развить, и оно Вам не раз - пригодится....