Чем можно замазать эту щель между стеной и новой оконной рамой?

шпаклевкой

Что бы было тепло и не дуло сперва нужно все как слежу запенить пройтись пеной . А потом раствором заделать . Как я понял это у вас такая щель с улицы . .Обычно при монтаже окон сто бы не было таких щелей в проем вставляется такая мягкая резина или вспененный полиэтилен . И к ним прижимает рама с натягом . А у вас просто брак монтажа .

Сейчас такие вещи запенивают.

Вначале раму заклейте бумажным скотчем по уровню существующей штукатурки. Потом запеньте. Пену после высыхания обрежьте с выемкой, чтобы было куда накладыват штукатурку. Ну, а потом штукатурим аккуратно и после высыхания снимаем скотч. Сама так делала

После запенивания пенивания заштукатурить.
Если вас устраивает ваш откос после пропенивния пройти силиконом, он не будет трескаться в местах примыкания, так как при открывании и закрывании будет движение рамы и создадутся трещены.

Если это уличная открытая сторона то полиуретановый герметик, а вообще оконщики дожны были ПСУЛ поставить на раму .

Что это за оконщики рукожопы? Пеной попробуйте

Фасадный герметик.

откосы сделать из пластика.

Запенить, как высохнет срезать лишние и закрыть нащельником

Сначала термоизоляцию сделать. Хотябы запенить. А потом штукатурить.

Запенить и зашпатлевать - не вариант - потрескается.

Если после еще пройти жирным слоем краски - выход.

Как говорит мой сосед, как я раньше жил без пены.