Надо ли говорить о своих чувствах,если боишься что он скажет "нет"?

Пока ничего неговорить. Очень часто слова, сказанные невовремя могут все испортить. поэтому первое, что я посоветую, это разобраться в себе и дать самой себе ответ6 нужен ли этот человек действительно. Просто представьте - какой станет ваша жизнь, если он будет рядом. Что он изменит в Вашей жизни?
Во-вторых, подумайте, сможете ли вы пожертвовать ради него чем-то. Судя повашему вопросу вас сильноволнует его "неблагополучность"...

Надо не бояться, а сказать о своих чувствах, он не скажет вам нет, ваши чувства взаимны.

А как же быть с вашей ответственностью перед вашей семьёй? Как же быть с ответственностью перед его семьёй?
Он ценит ваше внимание, но дальше этого, ничего же не двигается. Значит, по крайней мере, с его стороны нет стремления к этому. Либо вам надо взять полноту инициативы полностью на себя.
Но, тогда встаёт остро вопрос об ответственности, это ответственность будет висеть на вас до конца ваших дней. А после этого, ваша ответственность не уйдёт вместе с вами, она перейдёт на тех, кто останется после вас, это ваши дети, это ваши будущие внуки, это будущие внуки ваших внуков.
Да, возможно его семья считается не благополучной. Но, тем не менее, какой бы она не была, она есть, а значит и ответственность не только на нём за свою семью, но и на вас, в равной степени, за его семью. И к этому всему, ваша ответственность за вашу семью.