Нравится очень мужчина из другого отдела на работе, а я замужем

Есть на нашем предприятии мужчина из другого отдела, с которым часто приходится общаться по работе. Нравится все больше и больше. Но как человека я его совершенно не знаю. Я замужем, с мужем не все гладко. Женат ли он, не знаю наверняка, но в телефонном справочнике значится 2 женщины с его фамилией, а фамилия достаточно редкая. Отчества не совпадают.
С его стороны мною было подмечено 2 случая знаков внимания, но возможно это просто совпадения: 1) когда мы стояли на лестнице и спускалась девушка, он дотронулся до обнаженной моей спины (футболка в тот день такая была, что спина внизу немного открыта) - может, чтоб я посторонилась, но зачем именно обнаженную кожу было трогать, не понимаю; 2) когда я пошла в здание, где он сидит, но в другой отдел, он остановил меня на улице, встав почти впритирку, и стал спрашивать о договоре (расспрашивал долго) . Ну про договор понятно, но зачем же вплотную стоять? Мне это некомфортно попросту, но как увеличить дистанцию корректно, я не знала. В его присутствии иногда наплывает романтическое настроение, а иногда - нет. К счастью, когда стояли близко, это был не тот случай.

Вчера, когда он пришел в наш отдел, одевшись по-другому (в классическом стиле, чего раньше никогда не было) , я его даже не узнала. Пару раз поглядела, думая, кто же это такой пришел к нам. При этом ранее звонила и просила подписать документы. Потом звонила повторно, чтобы все-таки это сделать. Наверное, вообще за дуру принял. Как мне работать с этим человеком в такой обстановке? Как продолжать это делать, если что-то будет? Увольняться мне никак нельзя: работница с 2-мя детьми и 6-часовым рабочим днем в другой организации никому не нужна.