Стена, где вставлен оконный блок. сверху, "пустая"..Как ее можно"заполнить"?

Пробить выше отверстие, насыпать через него керамзита, после забетонировать его.

вы бы фото показали .. а то может и пеной со штукатуркой обойтись или придется делать перемычку .. а по ней капитальную стену )))

если у вас окно не по размеру проема (слишком большие зазоры) как окно то принимали ?

мало информации для выбора правильного решения.

нет описания материала стен, размеров пустоты

Прикрепить куски эппс на тарельчатые дюбеля, а вообще по хорошему нужен доставочный профиль той же оконнной фирмы .