Зачем нужно разделение на стек и кучу?

Если бы в языках программирования не было рекурсии, в стеке не было бы необходимости: достаточно было бы статической памяти - как в Fortran-IV.

Выделить/освободить место в стеке очень быстро, но объём выделяемой в стеке памяти в каждой подпрограмме фиксирован и определяется объявленными в этой подпрограмме переменными. К тому же во многих языках программирования размер стека ограничен.

Память, выделенная в стеке, автоматически освобождается с выходом из подпрограммы, в которой она была выделена.

Выделить/освободить место в куче многократно медленнее, но выделять участки памяти в куче можно в любой момент и в любом кол-ве - пока куча не исчерпалась. Размер кучи часто на порядки больше размера стека.

Память, выделенная в куче, остаётся занятой, пока её явно не освободить (или пока она не перестанет использоваться - в языках со сборкой мусора).

P.S. Ты забыл третий вариант: статическая память, которая и не стек, и не куча.

Стек — это область оперативной памяти, которая создаётся для каждого потока, это очень быстрое хранилище памяти. Но эти преимущества приводят к ограниченному размеру стека и специальному способу получения значений. Для того, чтобы избежать этих ограничений, можно пользоваться кучей — она позволяет создавать динамические и глобальные переменные — но управлять памятью должен либо сборщик мусора, либо сам программист, да и работает куча медленнее.