можно ли в цокольной части фундамента встроить окно небольшое?

Усилять нужно не только верх оконного проема (ОП) . Весь проем усилять. Довольно частая ошибка при устройстве ОП в стенах подвала, цоколе. Сила от подпора грунта пойдет от подошвы фундамента в сторону меньшего сопротивления - оконного проема (трещиной в цоколе поползет к ОП) .
Нижнее и боковое усиление арм. стрежни диам 12 ( по 3 на сторону) .
Верхняя -из выше представленных, или арматурой.

Конечно можно! Если дом еще не построен, то нет проблем. Если калдка, то Перемычку сделать можно из 2-х уголков, сварив ихи между собой полосами металла на нужном расстоянии, или можно швеллер подобрать, или несколько прутов арматуры положить. Если монолит, то нет ничего проще, в опалубке предусмотрите проем, и снизу и сверху положите дополнительные пруты арматуры.
Если дом построен, то просто продолбите дырку, ток не переусерствуйте.

А почему бы и нет? Вы присмотритесь к подвальным помещениям, у большинства есть окошки - для вентиляции, принцип установки такой же как и для кладки.

Лучше всего купить перемычку бетонную или если найдете метал. тавр, а вокруг окна и по горизонтали проармировать арматурой.. можно заодно вокруг окна пустить уголок метал и завязать окно в раму.. все зависит от размера фундамента и нагрузки на него..

купить перемычку. или залить из бетона с надежным армированием.

Металлический двутавр, уголок литой - не гнутый, бетонная балка. У нас уголок 100, окно и освещает и для проветреванья, так как по нормам положено если там расположено АГВ и колонка.

Вентиляционные окошки, которые затем закрываются всевозможными решётками от проникновения нежелательных существ внутрь, просто обязательно нужно делать. Ну а если Вы хотите установить какие либо другие окна, зависит от их площади: чем больше площадь, тем надёжней нужно укреплять (армировать) периметр проёмов.