Звонит женатый мужчина

Он у нас работает в отдела производства. Раньше мы с ним сталкивались по работе, но особых отношений не было. Недавно я заезжала к этому отделу (офис и производство находятся отдельно) и задержалась ненадолго, пришлось. И за это время мы с ним заболтались. После этого он мне названивает на рабочий "просто чтобы услышать мой голос" или "просто чтобы убедиться что со мной все хорошо". Личного номера у меня он не спрашивает напрямую, хотя говорит что "приходится звонить сюда ведь вашего номера нету".
Сегодня намекнул что хочет меня пригласить в кафе. Мне конечно приятно от такого внимания, но семья для меня святое! Как с ним быть? Напрямую оттолкнуть не могу, потому что и он ничего не говорит прямо