Куда обратиться за помощью?

К сожалению (применительно к вашей ситуации), согласно действующему семейному законодательству, отдельно проживающий родитель (отец) имеет право общаться со своим ребенком (ст. 66 Семейного кодекса РФ). В случае недостижения родителями согласия по порядке общения с ребенком, эти вопросы разрешаются судом общей юрисдикции. Вам необходимо обратиться в суд с исковым заявлением об определении порядка общения с ребенком. Для составления искового заявления и обращения в суд советую вам обратиться к адвокату, специализирующемуся на семейном праве, поскольку, в определении порядка общения с ребенком есть много "подводных камней", с которыми вы, к сожалению, можете не справиться.

а вы живете в квартире своего сожителя? Тогда понятно, чего бывший бесится. Живите у себя. Либо оформляйте брак, чтоб было чем его заткнуть.

Судя по всему отец ребенка не олень и не каблук. А это значит, что при малейшем вашем поползновении в сторону суда и попытке ограничить его в общении с ребенком, он может этого ребенка забрать... и обратно не привезти. И подать на алименты с вас. Устраивает такой расклад?
То что "хочет видеть в каких условиях живет его ребенок" тоже понятно - всем прекрасно известно как обходятся отчимы с неродными детьми.

отдайте ему ребенка и живите спокойно

хорошо, что общается с ребенком
а не забыл про него вообще
пусть ребенок растет и с матерью и сотцом!