Почему иногда не общавшись даже с человеком, понимаешь, что общение с ним не получится?

Каждому предопределён свой круг для общения - к не должному быть в числе лиц из этого круга не должно быть отношения иного, чем Вы описали.

а обидного то че в этом

По внешнему виду понимаете?)

В психологии ваша проблема описывается "эффектом ореола", Эффект ореола можно определить как влияние первичного образа человека на его последующее восприятие и оценку. Так, например, если сложившийся образ человека является положительным, то под его влиянием в процессе восприятия и оценки отбирается та информация о нем, которая подкрепляет, а не опровергает сложившийся образ, в данном случае — в основном положительная информация. Если, напротив, предварительно сложившийся образ оказался отрицательным, то его воздействие на дальнейшее восприятие и оценку человека будет прямо противоположным, а именно: в человеке будут восприниматься в основном те черты, которые поддерживают сложившийся отрицательный образ, то есть недостатки.
Эффект ореола — это явление, которое чаще всего проявляется, когда речь идет о восприятии и оценке незнакомых людей, причем в условиях, при которых общение с человеком оказывается эпизодическим, протекает с большими перерывами и недолго. Со временем, по мере познания человека, эффект ореола исчезает, и восприятие человека человеком становится более взвешенным, то есть включает в себя уже как его положительные, так и отрицательные стороны.
Но САМОЕ ГЛАВНОЕ, что этот эффект позволяет нам по инерции воспринимать человека в тех обстоятельствах, когда он изменяет нашему первому впечатлению о нем.