можно ли заряжать батарею с напряжением 3,7V, зарядкой c выходом 4.5-6V?

у меня так брат умер

Главное не напряжение а ток заряда.

можно! однако на всякий случай при зарядке щупайте не сильно ли она греется.

нужно ограничивать ток (резистором, чтобы не спалить БП или батрейку) и следить за напряжением (полный заряд - 4,2В)

Если есть запасные глаза - можешь попробовать. Особенно, если БП выдаёт 6 вольт, то может так еб@нуть, что мало не покажется.

Батарею с напряжением 3,7V заряжают только специальной зарядкой.

Зарядное напряжение всегда должно быть слегка выше аккумуляторного, иначе зарядки не будет. 4.5 подойдёт, 6 уже много.