Пытаться ли развивать отношения с этим человеком?

Ситуация не нова. Головой понимаю, как поступить, но хочется послушать мнение со стороны.
Мне 31, я около 4х лет работаю в одной компании. Один из коллег мне всегда нравился, но я никогда не предпринимала попыток как-то с ним сблизиться. Он красивый, умный, всегда одет с иголочки, от него всегда пахнет парфюмом (приятно), он занимает руководящую должность. А я... большую часть жизни провела в бедности, только последние пару лет стала нормально зарабатывать. Соответственно, я никогда не выглядела достаточно хорошо, чтобы быть ему ровней. Ну, точнее, это скорее мой комплекс. Вообще я красивая от природы, но никогда не была одной из тех шикарных женщин, у которых всегда макияж, прическа, дорогая одежда и парфюм... Ну, не суть.
Коллега этот со мной всегда был в хороших отношениях, мы, так сказать, на одной волне, мыслим схоже. Он мне часто привозил всякие конфеты, шоколадки из заграничных поездок (я не просила), часто делал комплименты по поводу внешности. НО. Он давно женат, с института, у него двое детей, и когда он говорит о жене, он говорит с любовью. Т. к. он женат, я никогда не пыталась к нему подкатывать.
Но недавно он уволился из нашей компании вместе с еще парой человек, и они все пригласили меня на ужин в ресторане по поводу празднования начала их нового бизнеса (как бы, предполагается, что я через некоторое время пойду работать к ним, когда они встанут на ноги). Во время ужина он мне не один раз сделал комплименты по поводу моей внешности, прямо-таки заигрывал (я и правда в тот вечер была прекрасна))). В конце вечера парни остались продолжать отмечать, а я уехала домой (одна на такси). И с того вечера не могу выбросить из головы подлую идею - а что если? А что если попробовать с ним сблизиться? Если спать с ним? Я уверена, что он изменят жене. Она с детьми живет в другом городе, он каждые выходные летает к ним, а все будни проводит в Москве. Соответственно, вряд ли ему хватает секса раз в неделю, а мужчина он очень видный, у него не может быть проблем с тем, чтобы найти себе кого-то для секса. Я уже и эротические сны с ним вижу, и просто представляю постоянно, каков бы был наш секс. Схожу с ума, в общем.
При всем при этом я недавно вышла замуж за хорошего человека, никогда ему не изменяла, сейчас планируем делать детей, но муж и на десятую часть так не умен и шикарен, как мой бывший коллега. Я вроде бы люблю мужа, но видимо не слишком сильно...
Умом понимаю, что не стоит пытаться закрутить роман с бывшим коллегой, т. к. он ни к чему хорошему не приведет, но чувства против меня.
Выскажите свое мнение по этой истории, пожалуйста.