На работе все только тем и занимаются, что сплетничают друг о друге. Если отказаться слушать это, то станешь изгоем.

Проведите эксперимент. Выслушайте, как поливают грязью сослуживца, и скажите - а он ( она ) о вас очень хорошо отзывается. Разговор поддерживайте, о людях говорите только хорошее, а если есть что - то плохое в человеке, посочувствуйте, скажите с сожалением, что он и сам этому не рад. Люди постепенно станут меняться, вы удивитесь, как это легко сделать )))

Прикинуться угрюмым...

Плохо, что Вы боитесь стать изгоем. Праведники всегда были изгоями (в среде греховодников) - и ничего страшного с ними не произошло (в то время как греховодники в ад пошли, а разве что-то может быть хуже этого?).

Смените работу.
Не то можете от них сим грехом заразиться, невзначай.
Пословица есть такая: за что кого осудишь, в том и сам побудешь!

... когда я в работе, могу вообще никак не среагировать, если ко мне обращаются не по делу или ведут пространные разговоры, люди сами видят, что я сильно занят.

стать изгоем у дураков - чем плохо?

Повысится КПД

Разве мама не сказала вам в детстве, что мир не идеальный?

Надо предлагать темы- начни рассказывать сам. Тем полно, о поездках, об отдыхе, об увлечениях, интересах, о политике и мире, и т. д.

Некоторый старец, услышав осуждения в разговоре возле своей келлии,
не стал никого осуждать в ответ, но начал молиться в себе самом:
Господи, Иисусе Христе Сыне Божий, помилуй мя грешнаго -
и ему явился Ангел и сказал: блажен ты, что не осудил ближнего...

А не нужно "отказываться", просто не участвуйте в этом, для поддержания разговора достаточно банальных фраз, кивков и минимума мимики, а если с подобными вещами лезут непосредственно к вам, то можно спокойно объяснить свою позицию. Ваша проблема в том, что вы концентрируетесь непосредственно на негативной стороне этого процесса, на его осуждении, но ведь есть и масса других вещей, на которых можно акцентировать своё внимание - работа, хорошая книжка в перерывах, переписка с другом. В конце концов, это просто работа, никто не заставляет вас всем нравится и дружить со всеми, здесь главенствует закон функционального эгоизма.

По поводу того, что "говорят" - люди всегда говорят, но что с того? От их слов ровным счётом ничего не меняется.

Мы все разные. И каждый занимается тем, что кажется ему комфортным, этого не изменить. Можно, конечно, пытаться воевать, противиться, но это никуда не приведёт.

Отказ обязателен?
Можно же обсуждать людей не только с точки зрения вечно всем недовольной, тупой куры (как это зачастую происходит), но и... правда что, влить немного философии в поднятую тему: подогревать разговор неожиданной, нетривиальной мыслью - иным, своим взглядом на обсуждаемую персону.
Поминать положительные стороны того или иного человека, но не грубо и не часто, а тонко и метко - делиться наблюдениями...

Зачем они обсуждают друг дружку, как Вы думаете?
Насколько это серьёзные разговоры?
Почему они Вам так не нравятся, почему задевают Ваше самолюбие?
Мало ли кто о чём треплется от скуки и безделья...

Ещё можно задавать вопросы самой ораторше/оратору - зачинщику очередной перестирки чужого белья: люди, никому особенно не интересные - именно они и являются сплетниками.
Они обожают внимание.
Дайте им его! Обезоружьте: начните задавать вопросы, спрашивать мнение по тому или иному поводу - самому интересному, какой сумеете придумать. (Не только о его жизни, а о жизни вообще: что читал, что смотрел, что думает, чью бы сторону занял в "битве за атом" - Шрёдингера или Гейзинберга, будь на дворе 1926-ой год и так далее.)
Так Вы и человека лучше узнаете и не окажетесь втянуты в эту, так неприятную Вам, досужую болтовню, заняв его рассказами о себе.
Пусть покрасуется! (Или заткнётся, смутившись.) Обсуждать, перетирать кости - занятно, но это не так остро, как рассказать о себе.

Либо рассказывайте интересное о Вас - перетяните одеяло на себя: сами себя при них обсуждайте, без утаек - отрезвляюще открыто и искренне.

Либо собирайте получаемую информацию, запоминайте её и придумывайте, как её можно использовать для личной выгоды, - тоже вариант.

Отказ, если он не бегство, обычно сам созревает у уважающего себя человека.
Если Вы не знаете, как отказать - Вы желаете убежать.
Но стоит ли ретироваться, когда можно разыграть грамотное и упрощающее жизнь нападение?..

Как бы грубо это не звучало, но вы сами создали условия, из которых сейчас пытаетесь выйти. Если конкретно про эту ситуацию, то самым оптимальным будет спокойно высказать свою точку зрения - я не хочу обсуждать сплетни, мне это не приятно, я не вижу в этом пользы, это мешает работе. Как вы уже поняли, нужно называть вещи своими именами - это и вам поможет лучше оценить проблему и сплетников встряхнет - возможно они не знают вовсе, что это такое - сплетничать.
Наверное главное тут придерживаться такой линии - вам этого не хочется, вам это не нравится и вы делаете шаги в сторону ВАШЕГО комфорта. Но не критикуйте тех, кто это делает, а то разворошите осиное гнездо, как говорится. Вы покажете себя твердой персоной, никого не обидев и не задев. Точнее не сказав прямо, что сплетничать - это не комильфо.
Главное делать это спокойно - вы задаете тон общения и как бы ваши собеседники не орали, язвили, или исходили на желчь, будьте спокойны - это очень хороший показатель того, кто тут стоит выше.
а вообще надо научится посылать всех нах*й! Мысленно конечно) придурков в мире очень много, и если вы будете всех исправлять, свихнетесь быстрее их.