Каким материалом лучше всего утеплить стену под подоконником пластикового окна внутри помещения на небольшую толщину ?

пеноплекс+панелиили гипс
сэндвич панель

Имеется в виду ниша или место под радиатор отопления? Ну фольгированный утеплитель для теплых полов типа Пенофола или Изолона можно взять. Только проверить теплостойкость, чтобы не дышать выделениями. И дополнительно отделывать придется. Или теплоизоляционную штукатурку нанести.

утеплитель мдвп..

Ну изолоном можно, он дешевый

Она там по определению не утепляется - даже без подоконника, с монтажной пеной по периметру окна ничего не должно продуваться и промерзать.

Пеноплекс, он есть разной толщины и в Оби и Леруа продаётся листами

А для какой цели такое грандиозное техническое мероприятие вы задумали?

Повесить коврик

монтажной пеной из балончика.