Надо ли платить налог на имущество?

Конечно нужно, если здание учтено как объект основных средств или в качестве доходных вложений в материальные ценности.

надо.
Объектом налогообложения для российских организаций признается движимое и недвижимое имущество (включая имущество, переданное во временное владение, пользование, распоряжение или доверительное управление, внесенное в совместную деятельность) , учитываемое на балансе в качестве объектов основных средств в соответствии с установленным порядком ведения бухгалтерского учета.

Не признаются объектами налогообложения:
земельные участки и иные объекты природопользования (водные объекты и другие природные ресурсы) ;
имущество, принадлежащее на праве хозяйственного ведения или оперативного управления федеральным органам исполнительной власти, в которых законодательно предусмотрена военная и (или) приравненная к ней служба, используемое этими органами для нужд обороны, гражданской обороны, обеспечения безопасности и охраны правопорядка в Российской Федерации.
http://wiki.klerk.ru/index.php/Налог_на_имущество_организаций

Конечно надо! Не важно сдаёте ли вы его в аренду или реконструируете!

Да нужно, если здание фактически эксплуатируется, его нужно включить в состав основных средств и платить налог на имущество с остаточной стоимости (платит арендодатель) . Что касается реконструкции, то:
-если реконструкцию в арендованном помещении проводит арендатор, то после окончания всех работ, составления и подписания акта ф. КС-14, первоначальная стоимость здания увеличитолся (это обязывает сделать ПБУ 6/01), соответственно увеличится и остаточная и налог на имущество
-если реконструкцию проводит арендатор, то:
-неотделимые улучшения в арендованном здании должны производится только с согласия арендодателя. В таком случае, если договором аренды не предусмотрено иное, то стоимость неотделим, проведенная арендатором, принимается на баланс арендодателем и возмещается арендатору. Если же арендатор произвел неотделимые улучшения без согласия арендодателя, то последний их может и не возместить.