Стоит ли всё-таки общаться с такими людьми?

быть такого не может - вам нужно если для вас это возможно просто быть собой - или может вы когото играете,
вы становитесь не нужным цветком на поле где себя не проявляете, я не пророк и не советчик, делайте то что зависит от вас и то что вам по душе, если вы не в первых рядах, будте в красивых - которые для вас

Уйти не могу и так как есть - тоже не могу - тупик.
Вероятно, за этой установкой стоит вера в какое-то чудодейственное средство, которое разом решит все проблемы. Это моя фантазия.... Уж больно вы негибки в этом месте, что-то же вашу устойчивость подпитывает. Могу предположить, что вы хотите поддержки в том, что все в коллективе плохие, а вы хорошая и эта вера сделает ваши "святые муки" - счастьем.

Стоит ли общаться с такими людьми? Ответ прост.... а хотите ли?
Что сами к ним испытываете? Нет вашем письме ни дружелюбия, ни принятия, ни стремления идти на встречу. Как-то вы умудряетесь так выстроить отношения в коллективе, что вас там не жалуют.
Вы пишите, что открыто конфликтовать не хотите. Но как-то принять право других людей вас недолюбливать и вместе с тем тоже не конфликтовать открыто вы принимать отказываетесь.

Психолог вам в помощь. Много точек для исследования.