Что сделать, чтоб окно плотно прилегало к раме? Какой материал прокладки между окном и рамой использовать?

Наберите в поиске: ПСУЛ

В идеале, окно поменять.. . Потому, если изначально уплотнитель там не предусматривался, все что щели ватой затыкать и бумагой заклеивать...

оконный уплотнитель на клейкой основе. Бывает разных сечений и толщины, продаётся в строительных магазинах. У себя окна им заткнул - идеально. До этого заклеивал пенополиэтиленом разной толщины, тоже хорошо. Много лет служат, и при этом окна спокойно открываются.