Стоит ли начинать изучать программирование с написания простенькой нейронной сети?

жестяки. ты хотя бы тетрис напиши

Ну, начинай. Только это не программирование, это высшая математика

изучать программирование стоит с основ....

Ты уже хоть как то начни

Не соглашусь с ответами выше: вполне жизнеспособная идея.
Начнете с консольного ввода, прогоните банальные примеры с XOR'ом.
Дальше захватите работу с файлами (Возьмете какую-нибудь выборку с фондовых рынков - данных для обучения валом. Там правда хаос и вряд ли чему научите, разве что тренды определять).
Потом прикрутите gui-шку для более удобной задачи параметров сети (только не увлекайтесь, программирование мышкой так себе направление).
При желании можно хранить веса нейронов и структуру сети в субде. Так себе идея при больших объемах, но вам же основы работы с базами изучить - т. ч. поработаете и с запросами, и с исключениями вдоволь. Хотя, если брать нормально отиндексированные dbf-ки то проблем особых со скоростью не будет.
Дальше - распознавание рукописного текста или картинок. Поработаете с графическими форматами.
Единственно, я бы на вашем месте не брал готовые библиотеки под нейросети, а писал с нуля - это если есть желание именно освоится в выбранном языке.
Опять же огромное поле для изучения многопоточности на этапе обучения сети с использование графического ускорителя для обсчета.
Т. ч. - почему нет.
Впрочем, я всегда считал, что новый язык нужно учить на боевом проекте, а не по коротеньким кускам кода из учебников - абсолютно разный объем задач, сталкиваетесь с множеством проблем, да и искать информацию научитесь