Считается ли это большим грехом то что не хочешь сидеть в обществе с одним человеком ?

Больший или меньший грех... Наверное надо постараться понять почему... Найти причину... Посмотреть на нее глазами собеседника и найти объяснение разумное, которое его поведение оправдывает...
Или что-то в этом духе...

21 Я единовременно пребываю внутри каждого существа как Высший Наблюдатель. Потому, если кто-то поклоняется Моему образу в храме, но не почитает других существ, его поклонение – притворно.
22 Кто преклоняется предо Мною в храме, но причиняет зло тем, в чьих сердцах Я присутствую – пребывает в мрачном невежестве и подобен глупцу, мечущему жертвенные дары в пепел угасшего костра.
23 Кто почитает Меня, но враждебен к иным чадам Моим, в действительности почитает лишь себя. Враждебность его рождена тщеславием, каковое есть страсть губительная, лишающее душу всякого покоя и сна.
24 Кто не признает Меня, пребывающего в сердце каждого, тот не угоден Мне. Безупречно исполняя заповеди и благоговейно кланяясь Мне в храме, он делает это повернувшись ко Мне спиною. Бхагавата пурана 3.2.

Нарада Пуране (1. 41. 22-88) говорится, что знания людей в различных областях придут в упадок, вследствие чего возрастут их греховность и неуравновешенность. Люди станут тщеславными и будут обманывать друг друга. Они будут заниматься самовосхвалением и стараться возвыситься, принижая других.

15. Всякий, ненавидящий брата своего, есть человекоубийца; а вы знаете, что никакой человекоубийца не имеет жизни вечной, в нем пребывающей. (Первое послание Иоанна 3:15)

иногда полезно отдаляться от злых людей, что могут научить злому. в случае личной неприязни-решай каждый за себя! главное-избегать скандалов

"на одном гектаре" не считается ...

Все зависит от причины, по которой у вас подобные чувства по отношению к этому человеку.

Противен потому что кому то сделал что то плохое? Может вы и сами обижены на него? Может у него внешность отталкивающая? Может это эффект "осадочек остался"?

Но бывает ситуация, когда общество того или иного человека не приносит никакой духовной пользы, или даже является неким соблазном для вас. В этом случае совершенно естественно будет избегать его.

Во всём этом в интернете не разобраться, это для личной консультации с доверенным священником.