Наиболее вероятный ответ - его симпатия к Вам. Но когда хочешь чего-то запретного или недосягаемого, это начинает причинять боль и остается лишь - держаться подальше от соблазна.

Ведь чем сильнее хочется, тем больнее аукается.
Что со всем этим делать ... тут уж советы вряд ли помогут, Вы такая какая есть и вряд ли станете лишь для КОЛЛЕГИ существенно менять свое привычное поведение. Но если сможете, внесите коррективы, перестаньте своим поведением или внешним видом питать его фантазии. Или переведите отношения на новый уровень, сделав их дружескими, но не более). Для этого просто поговорить, с чувством такта, чтоб человек не остался обиженным и не подумал, что он какой-то ущербный. Попросите его помогать Вам периодически по работе, похвалите его, рассказав, как Вам легче работается при его участии, что бы видел хоть какую-то отдачу от своих стараний. И четко обозначьте границы, чтоб не оставалось надежды на что-то выходящее из норм приличия.
У него опыта больше, чем у меня - это да, но он и старше))
Он хотел, чтобы я делала, что хочет он пытался меня контролировать на работе, говорить что делать, как, давил и тд. (притом, что он не начальник). Я не стала этого делать, тк у меня обязанности только перед начальником - и он вот так в игнор