Как сохранять дистанцию с коллегами, но при этом не портить отношения???

В качестве предыстории скажу, что устроилась на новую работу, в которой меня все устраивает. Работаю хорошо, все задания выполняю к срокам, но! Могу опоздать, или иногда во время рабочего дня незаметно так свалить к врачу или в банк)) Ничего страшного в этом не вижу, так как это никак не влияет на продуктивность работы: при необходимости я и ухожу часто позже, и, бывает, даже пропускаю перерыв, перекусывая, не отвлекаясь от работы. Главное, что такое положение вещей меня полностью устраивает.

Прямо напротив моего кабинета работает неплохая девушка (в совершенно другом отделе, никак с моим не связанным), неплохая, но очень уж болтливая - назовем ее Катей. И так получилось, что, не зная этого, я как общительный человек была с ней приветлива. Как потом оказалось, оба родителя Кати работают у нас в других отделах.
В общем, часто во время перерыва мы вместе спускались в буфет (у меня свой режим, поэтому я беру всегда с собой контейнеры, но мне нравится встречаться в более-менее непринужденной обстановке с другими коллегами), даже договорились пойти на выходных куда-нибудь с ней и еще парой девчонок.
А потом пошли плохие звоночки.
Во-первых, Катя приходит ко мне и не уходит, даже если я активно показываю, что занята (а если это выпадает в свободную минутку, дела обстоят сложнее!). Это очень напрягает, очень! А я просто не такой человек, который может послать ее прямо.
Во-вторых, Катя мельком упомянула, что летом в моем кабинете прохладно и приятно, а вот у нее жара, и до меня в моем кабинете работали две девушки - так вот она вечно была у них, чтобы не страдать от духоты у себя. Сами можете представить мой ужас от мысли, что летом она собирается прописаться у меня...
Но последняя капля произошла сегодня. Я благополучно опоздала минут на 20. Затем спустилась в уборную и столкнулась с женщиной, с которой Катя работает в одном кабинете. И та такая говорит: "О, а Катя утром говорит, мол, дай-ка загляну напротив, а тебя не было! Мы уж подумали, может, ты вообще не придешь?" - и смеется. Я ответила, что была не в кабинете, а сама с каждым ее словом просто закипала. Мне не нужно, чтобы кто-то стучался ко мне и удивлялся, где же я, мне нужна просто спокойная работа без нервотрепок, какой она была до общения с Катей...

Вообще подобные ситуации постоянно происходят в моей жизни. Мне достаточно просто обменяться с кем-либо улыбкой и немного поболтать, и у людей создается впечатление, что мы друзья навек. Почему, за что?!
Пожалуйста, поделитесь советом! Может, кто-то попадал в подобную ситуацию?
Ограничить общение? Говорить всякий раз, что занята? Безусловно, так и буду делать. Ни о каких встречах на выходных уже и речи нет: ни за что.
Но вот буфет расстраивает очень. Мне нравится спускаться туда, получать какие-то эмоции, но, как правило, я туда спускаюсь с Катей, и сидим мы, в основном, вдвоем, иногда присоединяются еще девчонки из других отделов, но чаще все-таки вдвоем. Будет крайне глупо спуститься и сидеть одной, особенно, если Катя спустится тоже. Я уже после слов Катиной коллеги даже решила наплевать на буфет и просто есть у себя одной, но тут Катя радостно заскочила ко мне и поделилась очаровательной новостью: она тоже теперь будет брать еду из дома. Какое счастье! Вариант есть у себя помахал ручкой перед моим носом, ибо Катя просто со своим контейнером будет приходить ко мне.

У меня такое было в школе, в бакалавре, в магистратуре, на курсах, на предыдущей работе, даже, блин, в супермаркете с одной продавщицей! Я (без шуток) заглядывала в окошко и, если видела ее, торопливо шла домой, а приходила на следующий день, когда была не ее смена. И вот теперь это снова со мной происходит. Понимаю, что причина во мне, я слишком позитивная, возможно, открытая, как ни пытаюсь, не могу это изменить...

Пожалуйста, помогите, потому что я в отчаянии!