Вопрос на тему нейронных сетей

В общем случае любая нейросеть хранит результаты своего обучения в весах связей между нейронами.
Но есть и специализированные рекурентные нейросети, в которых есть специальные ячейки кратковременной памяти. Рекурентные сети, это сети с обратными связями между нейронами. Применяются, в основном, для прогнозирования временных рядов и воссоздания утраченных фрагментов (например, картин).

Советую вам как-то переформулировать свой вопрос.

Вес нейрона? Я думал, что веса есть только на дендритах, а не на нейроне. А при чём тут сумма?

эмм щито
нс - это математический объект, ни с каким жсоном по сути своей не связанный
жсон и др. - не более чем детали реализации

далее, что подразумевается под "памятью"?
если то, как нс сериализуется и десериализуется, то это опять же детали реализации
главное чтобы по тем данным, которые мы пишем и читаем, можно было однозначно восстановить граф нс, т. е. должно писаться то, что в сам алгоритм не заложено (обычно как минимум веса)

Нейронная сеть в сегодняшнем примитивном понимании это статистическая таблица, где каждый слой сети можно представить как разряды некоего числа.. от старшего к младшему.
Пример. Запоминаем десяток изображений кошки, во всех случаях с кошкой пиксели 101,102,103 были включены, значит при включении тех пикселей включается бит в старшем разряде. А вот пиксели 85, 86 включались только на 5 картинках, значит они будут включать бит уже во втором разряде..
То есть мы подбираем такую связь между пикселями и разрядами чтобы статистически изображение одного и того же предмета всегда приводило к определенному значению этого многоразрядного числа, и в итоге на выходе если число совпало то значит кошка..