Сколько байт в среднем занимает один нейрон глубокой сети?

В среднем у человека мозг объемом 1400 мл, это значит 1400000 мм^3. Так же в среднем на 1 мм^3 человеческого мозга приходится 150000 нейронов. Тогда получается, что в среднем нейронов в мозгу 210 000 000 000. Если мы еще учтем, что помимо нейронов в мозгу содержаться капилляры, сосуды и пр. , что поддерживает жизнь и функциональность нейронов в мозгу, то получается, что в среднем в человеческом мозгу 100 000 000 000 нейронов, что доказано учеными.

Нейрон — нервные клетки, структурно-функциональные единицы нервной системы.
Нейрон состоит из тела диаметром от 3 до 100 мкм, содержащего ядро (с большим количеством ядерных пор) и другие органеллы (в том числе сильно развитый шероховатый ЭПР с активными рибосомами, аппарат Гольджи) , и отростков. Выделяют два вида отростков. (Аксон обычно — длинный отросток, приспособленный для проведения возбуждения от тела нейрона. Дендриты — как правило, короткие и сильно разветвлённые отростки, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов) . Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи с до 20-и тысячами других нейронов.
Получается, что нейрон в себе содержит ядро. А оно может хранить либо 0 либо 1, что означает, что нейрон хранит в себе 1 бит информации. Тогда считаем, что мозг может в себе содержать 100 млрд битов, что равняется 11,64 Гб.

нейрон с позиции кода - это ссылка, а у ссылки есть конкретный размер

Это не от глубины сети зависит, а от ширины. На каждую связь нужно 4-8 байт.