А есть ли такая архитектура, где процессор работает со своими регистрами, и значения в/из них ходят

вообще-то эот получается оперативная память. Ну, так когда-то работали все машины в 70-е годы. Тогда не было конвейеров, предварительно подкачки итд.

Попробуй завести большую матрицу, ну 10к*10к и занулить ее, бегая по строкам или по столбцам. Сравни скорость. Убрать кэш - будет все медленно.

можно пойти дальше и сделать все как это было на некоторых машинах в 50-е: никакой оперативки, все сразу с магнитного барабана.

как раз разделение памятей в иерархию по скорости и помогает работать машине быстро.

Это можно реализовать программно.
Но для этого надо быть программистом, не тем программистом, который программирует на языках высокого уровня, а настоящим.

SSD очень медленный по сравнению даже с оперативной памятью, не говоря уже о кешах процессора.

Для этого в процессорах есть КЕШи 1-3 уровня

"Напрямую"? Мухоморы солим?

у флеш памяти время на запись на порядки больше, чем у RAM, к тому же стирается страницами, а не отдельными байтами, поэтому и название flash, вспышка то есть.

Просто будет медленно, но ты можешь это сделать. Файл подкачки называется. Однако оператива в любом случае пошустрее будет, вот возьми калькулятор и посчитай. Оператива ещё в 2 канале не забывай, а на современных ам4 и 1151 на нижний мост всего-то 28гб\с когда
у ддр4 оперативы на 3200мгц 25 гигов в секунду, это учти что озу ещё в 2ух канале и плюс то что тебе ~16 гигов с южного нужно видяхе отдать