С чем связан прорыв в области нейросетей в последние 5--7 лет (хотя, сами НС были созданы значительно раньше)?

Раньше вычисления были на процессоре, а сейчас на специализированных чипах, которые в 100 раз мощнее.

>С чем связан прорыв в области нейросетей
А где прорыв-то? Ну вот я в упор не наблюдаю прорыва.

>Почему 20 лет назад не было никаких массовых приложений для НС
Потому что 20 лет назад не было для них ни области применения, ни достаточно мощного железа. Кстати, системы распознавания текста были достаточно массовыми - штрафы за превышение скорости прилетали со страшным свистом.

>а сейчас появляются пачками?
Ну и что там появляется? Игрушки одни, ничего серьезного.
НС - тупиковая ветвь ИИ. Для каких-то задач вполне годится, но универсальностью там даже близко не пахнет. Даже попытки использовать их в системах машинного перевода, где, казалось бы, машинное обучение - это вообще основа всего, никаких прорывных результатов не дали. Ну чуть получше стало, но далеко не айс.
Справедливости ради стоит заметить, что НС обросли серьезным математическим аппаратом, что неплохо даже само по себе как чистая наука.

>Модель перцептрона была создана в 58 году
О! Вот это уже интереснее. Собссно перцептрон связан именно с моделью НС, и как такового развития уже не получит: эмулировать его гораздо дешевле, чем производить. Но если что-то в области ИИ прорывного и произойдет, это будет основано на какой-то отличной от современных вычислительных машин элементной базе - в этом я уверен.

Проблема в том, что мода есть, а никаких прорывов нет. Прорыв случился много лет назад - когда "нейронные сети" научились достаточно быстро обучать. И с тех пор всё стоит на месте... Всё "развитие" состоит в том, что увеличение мощности железа позволяет использовать большее кол-во "нейронов" и более сложные схемы связей. Но крайне примитивная модель "нейрона" не меняется и это тупиковый путь.

Более того, не так давно была доказана принципиальная ущербность существующей модели НС - когда внесением минимальных искажений в обрабатываемые данные можно получить на выходе заданный ошибочный ответ.

Вообще-то первая модель нейронной сети была предложена в 1943 году. Проблема перцептрона была в том, что его автор недостаточно хорошо знал математику и потому сделал элементы линейными. В результате многослойный перцептрон оказался полностью эквивалентен однослойному. Именно этот фатальный недостаток и послужил причиной сворачивание проекта. Кроме того, ещё не существовало эффективных алгоритмов обучения.