В квартире установленные пластиковые окна. Зимой выдувает все тепло. Дует из швов между окном и стеной.

1. если же под отливом вы не обнаружили пены, то и оттуда может задувать. Вам нужно открутить отлив, а затем проклеить по низу хорошую гидроизоляционную ленту. Задуйте пеной, а затем установите ваш отлив на место.
2. если задувает из-под подоконника или же под вашим подоконником запенено плохо, не установлен нормально отлив (мы с отливом уже разобрались), то чтобы решить проблему с вашим подоконником, необходимо всю пену вытащить и аккуратно задуть затем под всем пространством подоконника
3. если у вас еще есть щели между рамой и подоконником или же оттуда дует, то это значит, что либо отлив у вас не установлен правильно, или же между профилем подоконника и рамой окна изоляции нет.

По гарантии пусть фирма переделает. Либо обратится в мастерскую по ремонту пласт окон.

отдирать откосы и запенивать нормально

Вам надо просто утеплять откосы и тогда будет тепло и ничего выдувать не будет

Окна не установлены, а воткнуты в проем. Ни чем не заделывать, на пол зимы хватит, максимум пару сезонов в лучшем случае. Если бы там не было просто пены по периметру - окно бы обмерзало по периметру, а не продувалось.
Скорее всего отсутствует или пришел в негодность внешний уплотнитель и точно нет внутренней пароизолирующей мембраны. От влаги и мороза пена пришла в негодность и труху выдуло ветром.
Ищите нормальных установщиков. В зависимости от особенностей проема окно возможно придется снимать и устанавливать заново.

Ничем не заделывать, обратитесь в компанию, кто устанавливал, это их брак в работе, Обязаны исправить (Вы оплату делали, документы должны сохраниться)

Чтобы оконный шов долго служил и не было никакого продувания, нужно использовать ПСУЛ при монтаже. Вот статья про монтаж окон по ГОСТу - http://www.robitex.ru/page/tech_montaj_okna_gost.php

Швы лучше заделать специальным акриловым герметиком для монтажных швов оконных и дверных проемов http://hcnn.ru/germetik-akrilovyj-dlya-montazhnogo-shva.html. Можно монтировать наружные и внутренние швы.

Пеной. Монтажной. Странно, что при установке это не сделали мастера криворукие

Большое значение имеет и сам монтаж окна. Мы когда выбирали себе окно, друзья посоветовали нам компанию Равелин которые занимаются окнами Века. Обратили на них внимание потому что у них правильный монтаж окна по ГОСТу, т. е. выполняется трехслойная изоляция шва где кроме монтажной пены используются специальные защитные ленты которые препятствуют разрушению самой пены и защищает от сквозняков из под подоконника, от плесени и грибков на откосах. Поэтому установленными у себя окнами довольны. Обращались сюда (veka.od.ua)

Уточните, пжта, снаружи или изнутри? Начнем снаружи)))) Если дует из пластикового окна по швам, значит окно было установлено не по ГОСТУ. Необходимо сделать гидроизоляцию внешнего шва или нащельниками или заштукатурить. Внутри, необходимо заделать швы жидким пластиком или силиконовым герметиком или акриловым. Подробнее здесь remontokon-company.ru/dyet-iz-okon.html