Почему отшельники уходили от общения с людьми?

Без людей легче происходит процесс очищения духовного, приближения святости. Нет соболазна

Потому что религия, как духовный наркотик, призвала их служить несуществующему - богу вместо того, чтобы служить реальному - людям, своим ближним.

Потому что общество всегда жило в разврате и грехе. И полезных для жизни вещей цивилизация ещё не придумала.

Чтобы расширить сознание до Бога Отца.

Потому что для служения, часто необходимо выдернуть себя из привычного окружения. Наши привычки, повседневные дела, не дают посвятить себя служению.

Боялись открыть свои слабости и грехи .

Хотели побыть в одиночестве

Вы сказали - Почему отшельники уходили от общения с людьми? - это не совсем корректный вопрос. Вопрос возникновения, цели, и разновидности отшельничества не позволяет на ваш однозначный ворос, ответить так же - однозначно. Поясню.
Отшельничество - как образ жизни, предполагающий уход из общества людей, возникло во времена гонений на христианство, и имел своим началом подражание известным пророкам Божиим, - Моисей, Илия, Елисей, Иоанн Креститель, даже Сам Иисус Христос удалялся от людей на некоторое время. Если отшельничество для пророков было следствием призвания Божия, то постиудаистское отшельничество возникло более как - желание (нужда) человека в соответствующем образе жизни, как и для достижения определённых целей. При этом следует рассматривать отшельничество как:
А) - кратковременное, (Моисей, Иисус), и
Б) - долговременное, (Илия, Елисей).
Так же и цели которые приводят человека к отшельничесскому образу жизни, могут быть тоже разные (при том, что речь идёт о религиозном отшельничестве).
1.- Богоискание: - это когда человек решает для себя оставить жизнь в миру и искать общения с Богом!
2.- Посвящение: - это когда человек отрекается от жизни в миру и посвящает себя жить только в общении с Богом.
3.- Стяжание Духа Святого - желание достигнуть таких отношений с Богом, имеющих целью - обретения сверхъестественной силы: -
а) - исцеления,
б) - чудотворения,
в) - пророчество.
4.- Получение откровенияот Бога, на какие то жизненно важные решения.
5.- Восстановление утерянных, или нарушенных чем либо отношений с Богом.
6.- Прояснение ситуации если человек зарутался в отношениях между Богом и этим миром.
Почему я так подробно подхожу к пояснению этой темы, что бы нам было понятно - почему человек пошёл на таокое непростое жизненное решение.
Если говорить о постиудаистском - "христианском" отшельничестве, то Господь Иисус Христос не призывал людей к отшельничеству, но более того наоборот призывал Своих учеников проповедовать Евангелие всем народам! -".. и сказал им: жатвы много, а делателей мало; итак, молите Господина жатвы, чтобы выслал делателей на жатву Свою.
Идите! Я посылаю вас, как агнцев среди волков." Лука. 10:2-3.,
"Как Ты послал Меня в мир, так и Я послал их в мир." Инн. 17:18.
"Итак идите, научите все народы, крестя их во имя Отца и Сына и Святаго Духа,
уча их соблюдать всё, что Я повелел вам; и се, Я с вами во все дни до скончания века. Аминь." Матф. 28:19-20.
К сему могу лишь добавить более банальные житейские причины ухода людей из общества и они не лежат в подвижничестве, а просто в усталости человека от людей, возможно нелюбовь к людям, возможно просто потеря всякого интереса к жизни в обществе (социопатия)...

Чтобы те не отвлекали их от мыслей и молитв. Это своего рода затяжной вариант медитации.

не хотели славы.

Устали. Больше не хотят отвлекаться от Истины.

Наверно потому что они отшельники