Что ограничивает потолок полёта у самолётов? Почему обычный истребитель не может взлететь выше, допустим, 20 км?

Если установить реактивный двигатель с большей тягой и кислородные баллоны, то сможет.
Проблем две. Малая плотность воздуха на больших высотах для необходимой подъёмной силы и малое количество кислорода для работы двигателя.

Вот ещё одна причина ограничения максимальной высоты полёта-на диапазоне высот и скоростей полета самолета представлены зависимости минимальной и максимальных допустимых истинных скоростей полета в зависимости от высоты. При рассмотренных условиях у земли разница между минимальной и максимальной скоростями составляет величину около 280 км/ч. Рост левой и правой границ скоростей с увеличением высоты полета объясняется тем, что при постоянной приборной скорости истинная скорость растет пропорционально снижению плотности воздуха.
Самолет имеет достаточно высокую для транспортных самолетов тяговооруженность, поэтому на малых и средних высотах максимально располагаемая по тяге скорость существенно больше скорости, допустимой по прочности элементов конструкции. Как видно, у земли самолет способен разогнаться до скорости около 790 км/ч, тогда как существующие ограничения позволяют иметь скорость не более 600 км/ч. Таким образом, на максимальной разрешенной скорости самолет обладает большим избытком тяги. Это требует от летчика при полете на максимальных скоростях повышенного внимания за контролем скоростного режима. С увеличением высоты полета избыток тяги уменьшается, что приводит к сокращению разница между располагаемой и максимально допустимой скоростями. На высоте порядка 7000 м эта разница практически теряется и это состояние сохраняется до высоты около 10000 м. На больших высотах самолет не способен выйти на ограничение по максимальной скорости.

Недостаток кислорода для окисления горючего. На этой высоте и выше приходится использовать автономные двигатели, т. е. ракетные, топливо которых содержит собственный окислитель.

А там кислорода мало. И Движки - ТЮ-ТЮ. Хотя в истории авиации было решение для высотного бомбардировщика - ставили 5 движок на компрессор, питающий воздухом основные 4.

и зачем тогда нужно было строить ракеты? да и Гагарин зря рисковал.

" Не бери дурное в голову, тяжёлое в руки " . У самолёта несколько потолков, статический, динамический и проч. Наука называется : Динамика полёта.
А главное не слушай придурков про кислород и проч.