Как определить род у не исчисляемых существительных?

Во-первых род у существительных в русском языке определяется независимо от их исчисляемости или неисчисляемости. Это вообще не проблема для русского языка. Молодёжь, ночь - женского рода; внимание, море - среднего; утюг, цемент - мужского. При этом в каждой паре из приведённых существительных одно можно назвать исчисляемым, а другое - нет. "Можно назвать", потому что в русской грамматике вообще существительные разделяются на следующие лексико-грамматические разряды: 1) собственные и нарицательные; 2) собирательные; 3) вещественные; 4) конкретные и отвлеченные; 5) одушевленные и неодушевленные. У собирательных, вещественных и отвлечённых существительных как правило не бывает множественного числа (на всякое правило есть исключение, но не будем копать так глубоко) - то есть их можно назвать неисчисляемыми.

Во-вторых, в русском языке есть несклоняемые слова, а здесь нужно придерживаться следующих простых правил:

месьё – мадам – у слов, обозначающих одушевлённое лицо, род соответствует полу.
кенгуру, шимпанзе – слова, называющие животных, мужского рода.
Тбилиси, Сухуми – слова - названия городов – мужского рода.
Конго, Зимбабве – слова - названия государств – среднего рода.
Миссисипи, Янцзы – слова - названия рек – женского рода.
пальто, кашне – слова, обозначающие неодушевлённые предметы, чаще бывают среднего рода.

Во всех остальных случаях нужно заглянуть в орфографический словарь и выучить наизусть то, что там написано. Словарь должен быть достаточно новым. С некоторых пор слово кофе разрешено относить к среднему роду.

В-третьих. Какие проблемы со словом окно? Обыкновенное неодушевлённое конкретное нарицательное существительное среднего рода, с чего бы это ему сделаться неисчисляемым? Одно окно, два окна, три окна, тысяча окон, маленькое окно - маленькие окна - как раз это слово изменяется и по падежам, и по числам, является исконно русским, то есть не относится к каким бы то ни было исключениям из правил.

Задай вопрос Чье (чья, чей) это окно.
Кофе - исключение, это муж род