Самый дешевый способ - дрова. Потому что они халявные. Набрал любого сухостоя или отходов на стройке и нет проблем.
Но вложения все равно нужны. Котел обязательно с водяной рубашкой. У меня самодельный, есть в продаже и заводские разные. Батареи по стенам (у меня они из чермета) , насос, разводка и т. д. При грамотной разводке можно не зависеть от электричества - система работает и самотеком, насос можно не включать. Гараж ничем специально не утеплял. Зимой в любую погоду могу нагреть до плюс 15 - плюс 20.
Для покраски дёшево не получится.
есть один вариант -Печь на дизтопливе с катализаторм (в простонародье -печь Бундесвера)
http://idvor.by/index.php/forum/336-dacha-usadba-dom-kottedzh-banya-khoz-postrojki/245638-pechki-na-diztoplive-s-katalizatorom
летом надо было теперь дешево не получится
буржуйка или печь на отработке