Можно ли у собственника квартиры выбить через суд сумму за установку пластиковых окон?

Довольно сложно. Вы за свой счет произвели улучшение имущества, принадлежащего другому лицу. Право на получение возмещения затрат у Вас возникнет только в том случае, если такое улучшение имущества произведено Вами с согласия собственника этого имущества. Таким образом, вопрос сводится к тому, сможете ли Вы доказать, что брат дал вам согласие на то, чтобы Вы за свой счет установили окна. Если Вы этого доказать не сможете, а брат будет утверждать, что согласия не давал, окна Вы установили самовольно, о чем он узнал по факту, то возмещения затрат Вы с него не получите.

Если есть у вас чеки оплаты договора - подавайте иск в суд.
Если их нет - доказать оплату именно вами невозможно.
Мой совет - не портите дальше отношения с братом, не мелочитесь, отойдите на время в сторону и не общайтесь с ним. Придет время и вы оба будете жалеть о содеянном.

Да, не всю сумму правда но тем не менее можно.

а вы их меняли с ведома и согласия брата? Предполагаю, что он сейчас заявит, что не просил об этом, чисто ваша инициатива была

Можно через суд ...

Попытка-не пытка, обращаться в суд никому не запрещено и чужих советов не нужно. Это ваше решение и ваша жизнь и ваши отношения с близкими родственниками.