Вправе ли унитарное предприятие взыскать проценты за просрочку бюджетного финансирования?

Вправе.

Смотрите, там все подробно!

Ответственность за нарушение бюджетного законодательства:

http://be5.biz/ekonomika/fmnv/213.htm

По идее да, но останется ли на месте после этого начальник

Вопрос, конечно, интересный.
Но лучше думать о субсидиарной ответственности, если предъявят требования. Хотя не факт, что подойдет.