Какой язык программирования выбрать?

Это зависит от ваших целей.

Если цель - делать нейросети только для себя, то подходит язык Python.
В Питоне вам нужно будет изучить фреймворк Keras. Это высокоуровневая библиотека Питона, которая позволяет очень быстро собирать нейросети любой конструкции и архитектуры как конструктор Лего.
Keras базируется на более низкоуровневых питоновских библиотеках TensorFlow (в Windows может работать только на 64-битных системах) и Theano (в Windows работает и с 32-разрядными системами, но требуется установить компилятор g++). Если вы работаете с Keras, то FensorFlow и Theano можно не изучать, но какую-нибудь из этих библиотек нужно установить для работы с Keras.
FensorFlow и Theano могут работать и сами по себе без Keras, но они гораздо труднее в изучении, код на них получается длиннее и, соответственно, нейросети строятся на них труднее и дольше.
Сами FensorFlow и Theano, в свою очередь, базируются на еще более низкоуровневой питоновской библиотеке NumPy для работы с матрицами. Вот её в сочетании с Keras нужно знать обязательно, так как вывод результатов и ввод данных (и их предварительная обработка) идет с помощью NumPy.

Если цель - делать нейросети для их использования другими людьми, то для создания программ кроме Python нужно обязательно знать C++ или C#, чтобы переписывать прототипы программ, которые вы будете первоначально писать на Питоне. В этом случае изучение TensorFlow будет уже обязательным, так как TensorFlow имеет "обертку" на C++. На C# "обертки" нет, но если знаете С++, то переделать код на С# будет проще всего.

MathLab Deep Learning Toolbox (ранее Neural Network Toolbox)

TensorFlow и Python

питон, лисп

Программирование нейросети это как космос. Невозможно его освоить не научившись строить космические корабли. Невозможно её запрограммировать не понимая целей и принципов работы. В сети множество автоматов выдаётся за нейросеть. Начать лучше с готовой нейросети и готовых алгоритмов её обучения.
TensorFlow на начальном этапе, чтобы понимать где сейчас "струя" пользовательского применения виртуальных нейросетей.
Далее язык высокого уровня С++, чтобы формировать свою виртуальную нейросеть и интерфейс её обучения. Чтобы не быть ограниченным существующими решениями.
Далее Verilog - язык низкого уровня. Чтобы аппаратно ускорить работу нейросети. Т. к. на ЭВМ она выполняется крайне долго и последовательно. А на ПЛИС быстро и параллельно.