может ли собственник обязать заключить договор найма жилого помещения зарегистрированного в нём жильца

Это невозможно

Вы можете через суд снять его с регистрации и выставить за дверь. Если он не отказывался от приватизации этой квартиры

Т. е вы не против, чтобы брат жил, но хотели бы, чтобы он платил комм. услуги, раз фактич. проживает?
Или именно дог. найма хотите, чтобы и за наем он платил?
Свобода договора по ст. 421 ГК РФ, понудить к заключению нельзя в данном случае.
Он если вселен как член семьи собственника, вот и живет нахаляву и брюхо чешет, с какого ему вдруг дог. найма заключать и платить за наем и комм. услуги, когда и так неплохо живется?
Вообще обязанность платить солидарная у собственника и членов семьи собственника по
ч. 3 ст. 31 ЖК РФ:
Дееспособные и ограниченные судом в дееспособности члены семьи собственника жилого помещения несут солидарную с собственником ответственность по обязательствам, вытекающим из пользования данным жилым помещением, если иное не установлено соглашением между собственником и членами его семьи.
http://www.consultant.ru/document/cons_doc_LAW_51057/7b18082b2397114d3abca2fd14d7f22230aece1e/
---
Неизвестно, какое у вас основание приобретения в собственность квартиры.
Неизвестно, когда и на каком основании кем был вселен ваш брат.
----
М. б. можно его признать прекративш. право пользования как бывшего члена семьи собственника и выселить решением суда. И потом сдавать будете квартиру.
Или, по кр. мере, для начала сообщить брату о возможности его выселения реш. суда с предложением заключить дог. найма жилого помещения, с платой за наем и обязанностью брата по оплате комм. услуг.
Или, если вам не нужна плата за наем, соглашение собственника с членом семьи собственника (бртом) о проживании и оплате, кот. обязать брата платить то-то и то-то.
------
В н. в. если он не платит, но живет и пользуется, можете взыскать с него реш. суда его долю оплаты.
----------
Надо Вам просто определиться, чего именно хотите, и потом уже нужным веслом замахиваться.

Продавай квартиру.. Избавляйся от брата.. Только покупателей предупреди, что "пожизненно проживающий "..так ?

Договор нельзя принудить заключить,
но то он и договор, что люди договариваются добровльно

Это невозможно, однако, Вы как собственник можете приостановить пользование комунальными услугами написав заявления в соответствующую организацию.