Собрал бп по схеме и греется транзистор

расчитывай МОЩНОСТЬ которая падает на этом транзисторе под нагрузкой.
радиатор значит маленький.

Только плохой теплоотвод, других причин нет. Я с таких простейших БП по 5А снимал.
Показал бы что там насобирал, понятнее было бы.

Начни с того, какое переменное напряжение подается на мост, и какой ток надо на выходе? все от этого считается....

какой ток нагрузки и какой радиатор?

Характеристики транзистора КТ961А
Структура n-p-n
Максимально допустимое (импульсное) напряжение коллектор-база 100 В
Максимально допустимое (импульсное) напряжение коллектор-эмиттер 80 В
Максимально допустимый постоянный (импульсный) ток коллектора 1500(2000) мА
Максимально допустимая постоянная рассеиваемая мощность коллектора без теплоотвода (с теплоотводом) 1(12.5) Вт
Статический коэффициент передачи тока биполярного транзистора в схеме с общим эмиттером 40-100
Обратный ток коллектора <=10 мкА
Граничная частота коэффициента передачи тока в схеме с общим эмиттером =>50 МГц
Коэффициент шума биполярного транзистора <0.5 дБ

Разумеется греется, он же в линейном режиме

мощнее надо брать транзистор, еще лучше если сделаешь на тиристоре.

Транзистор замени.. кт805 в металле.. КТ803, КТ819..Радиатор соответственно.

Транзистор на радиаторе?

Так он и должен греться - стабилизатор парамтрический, теплоотвод побольше и в путь.

Радиатор слабый и пасты нетУ.

Он и должен греться. Нужен хороший теплоотвод.
Какое напряжение дает выпрямитель?

ну он и должен греться. На нём падает лишнее напряжение.

Как уменьшить нагрев ?

а) уменьшить ток через него, либо выбрать транзистор, рассчитанный на больший ток и большую рассеиваемую мощность, то есть имеющий тепловое сопротивление переход - корпус пониже;

б) уменьшить падение напряжения на нём. Например, если вам нужно всего 10 вольт на выходе, трансформатор на 50 вольт ни к чему.