чем просверлить цилиндрическое ответствие в деревянной балке диаметром 12 см (не мм) глубиной примерно 20 см?

Если в балке, то отверстие видимо сквозное.
По-моему проще лобзиком вырезать. А если сверлить, то с двух сторон.
Продаются плоские сверла по дереву диаметром 2-5см. Их нетрудно изготовить самому и большего диаметра. Но ради 1-го отверстия.. . Даже выдолбать долотом будет быстрее. Кстати, сначала выдолбать меньшего диаметра, а потом трубой 120мм из зубчиками на торце подровнять.

Учтите, такое большое отверстие в балке сильно ее ослабит.

Я бы торцем цепной пилы ковырять начал. Несколько пазов, под разными углами, потом стамеской.
Только торцем пилы по целику опасно работать. Осторжность от кика соблюдайте.

А так, хорошей стамеской минут на 40 работы.

Облегчить можно, если на периферии маленькое отверстие просверлить и электролобзиком по периметру пройтись. Миллиметров 60 стамесить не придется.

есть такой инструмент - коловорот

Есть такие сверла (по дереву) - перьевые. Правда такого диаметра не встречал.. .
Но можно сделать самому, на заказ. Сложного ничего нет.
Если отверстие не глухое, то продаются наборы сверел для дерева - не знаю, как называются, но выглядят как ножовочное полотно согнутое в кольцо.

подобрать трубу подходящего диаметра и заточить

Ну это совсем просто. Покупаешь в любом строительном магазине фрезу на 120 мм, одеваешь на дрель и вперед. Правда они обычно в длинну порядка 50 мм, придется пройтись фрезой, стамеской вычистить и опять до нужной глубины.

фрезой

сверлами разных диаметров

Цилиндрической пилой и стамеской. В идеале - на координатном фрезерном станке с ЧПУ.