Как подготовить поверхность окна, если я хочу покрасить вододисперсионной краской?

Ничего не надо делать. Правда смущает то что краска воднодисперсионная. Она обычно по штукатурке со шпаклевкой в строительстве применяется.
В дереве, обычно, применяют из водоразбавимых - акриловые. Если все же итмееется в виду акриловая, ( эмаль, грунтовка, лак) , то первый слой, наносится абы как лишь бы хорошорастирая. После высыхания (лучше на следующий день) еще раз прошкурить очень мелкой шкуокой поднятый ворс и волокна, вплоть до полного сошкуривания (если сильно поднялись волокна дерева) . А потом нанести необходимое количество слоев (как бы наливом) один за другим, по мере высыхания. Следующего дня ждать уже не надо, между слоями.
Но лучше использовать сначала алкидную грунтовку, несколько слоев. С промежуточной шлифовкой. Тогда поверхность будет очень ровной и гладкой. А потом нанести акриловую эмаль. В данном случае речь идет о "тиккуриле" - достойная в этом вопросе фирма по производству красок. Если ее нет в продаже в спец. магах, то акриловые эмали так же прочны и долговечны по своих хим свойствам, любого производителя. Если окрашивать поверхности окон в их лежачем состоянии, то можно и кистью добится хорошего результата.
Про краскопульт говорить не буду. тк навыки его использования в ответах не передать.
Самое главное - шкуровка после первого слоя!!!

Воднодисперсионная краска - это иммитация побелки. От обычной меловой побелкии отличается относительной водостойкостью - но при длительном размачивании всё равно размокает.
Дерево всегда красят либо масляной краской. либо эмалью. Совершенно недопустимо чередовать при покраске слои масляной краски и эмали - так, если на окно, окрашенное масляной краской по масляно-клеевой подмазке (левкасу) , нанести эмаль, то от содержащегося в эмали растворителя левкас вздуется и отвалится от дерева (проверено) .
Если же Вам всё равно хочется покрасить дерево вододисперсионной краской - Ваше дело! Хорошо не будет, исправить - будет тоже весьма проблематично.

обезжирить спиртом, нашатырём.

обезжирить..