Почему так поздно пришло в голову сделать патрон по мощнее и создать автомат (Следующий шаг от пистолета-пулемета)?

Потому, что любая идея, открытие, разработка должны "созреть", должны появится необходимые условия, чтобы это изобретение стало востребованным (нужным, необходимым).
Пистолеты-пулемёты появились незадолго до Второй Мировой войны, в конце 20-30-х годов 20 века. На то время их боевые качества более чем удовлетворяли всем потребностям и пожеланиям. Но Вторая Мировая показала, что нужна не просто высокая плотность огня, но и высокая точность и дальность стрельбы, чего пистолеты-пулемёты не имели. Потому и стал разрабатываться промежуточный патрон, который давал более высокую скорость полёта пули, а значит более настильную траекторию полёта и более высокую точность стрельбы. Кроме того, за счёт повышения мощности патрона, повышалась дальность полёта пули и её пробивная способность, уменьшалось воздействие погодных условий на точность стрельбы (ветер, дождь).

Потому что ранние пистолеты-пулеметы стоили дорого и имели привычку к заклиниванию, особенно если их некоторое время не чистили. Плюс не было желания вводить новую категорию боеприпасов (автоматные патроны обычно укороченные по сравнению с винтовочными того же калибра).

Пистолет-пулемет Томпсона в 1921 году продавался за 200 долларов (с прямым магазином на 20 патронов; за дисковый магазин -- дополнительная плата). Для сравнения -- новый автомобиль Chevrolet 490 в минимальной комплектации в 1921 году стоил 800 долларов, а в 1922 (последний год его выпуска) цену снизили до 510...

После второй мировой войны, однако, издержки производства (как самого оружия, так и патронов) уменьшились, а точность изготовления деталей и качество материалов улучшились (и заклинивание в связи с этим стало случаться сильно реже).

Полуграмотные советчики мешали!

Потому что конструкторы не знали как пишется слово помощнее. Дебилы, короче, были.

Автомат и сегодня не сильно нужен.
Для ближнего боя хватает пистолета-пулемета.
Для дальнего - пулемётов и артилерии