как поменять окно если нет перемычки и кирпичи клались прямо на деревянную раму?

В целях безопасности от обрушения для начала с обоих сторон стены кирпичи стянуть уголком ( не менее 63 мм ) Затем снимаете старую раму .В образовавшийся проем вставляете
заранее заготовленый сварной каркас раму из металла, крепите ее.
А в установленую рамы вставляете новое окно.
( уголки что скрепляли кирпичи можете снимать )

завести перемычку

Тяжеловато будет, даж не знаю, что посоветовать.. .
Это кто такой умный окно ставил?
Вынуть старое окно. Если кирпичи держаться не будут, думаю выхода два.
1. Положить кирпичи на алебастр кверх ногами. Ну понятно, сверху вниз. Алебастр застывает быстро и держит сильно, так что положить реально. .
2. Раздолбить верх оконного проема и поставить перегородку, например из листа стали. Потом на него пробовать выложить кирпичи.

Что значит нет перемычки. У вас перемычка есть -- кирпичная. Думаете стена у вас на окно опирается, так не бывает.
Так, что окно меняется как обычно.

какая толщина кладки?

В любом случае требуется реконструкция оконного проема. Какая толщина стен? варианты: перемычка, уголок, арматура.
Или старая рама )) Когда-то видел в фото приколах когда Пластиковое окно ставили в деревянную раму )))

желательно поставить подпорки (можно одну) под середину. затем установить уголки (можно один побольше) под кирпичи. и осторожно вынимай старую раму.

разрезать между кирпичали и вставить уголки металические желательно с обоих сторон