Это вторая статья из трёх о том, откуда взялись нейросети. Первая — что такое нейросеть, если без формул. Здесь — история: нейросети не появились вместе с ChatGPT, у них за плечами больше восьмидесяти лет взлётов и разочарований.
1943–1950: идея раньше компьютера
В 1943 году, когда электронные вычислительные машины только-только создавались, нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс опубликовали статью с математической моделью нейрона. Настоящий нейрон в мозге получает сигналы от соседей и «срабатывает», если их набралось достаточно. Маккаллок и Питтс показали, что такое поведение можно описать формулой — и, значит, повторить в вычислительной машине.
В 1950 году к разговору подключился Алан Тьюринг. Его вопрос звучал просто: «Могут ли машины мыслить?» Чтобы не спорить о философии, он предложил практическую проверку — игру в имитацию, позже названную тестом Тьюринга: если человек в переписке не может отличить машину от собеседника-человека, вопрос снят.
Обе идеи были на бумаге. До первой работающей обучаемой машины оставалось ещё несколько лет.
Зачем их вообще придумали
Не ради интересного фокуса. У нейросетей с самого начала было несколько практических целей.
Понять, как устроен мозг. Маккаллок был нейрофизиологом, Питтс — математиком. Им хотелось понять, как из множества простых нервных клеток складывается сложное мышление, и математическая модель нейрона была попыткой ответить на этот вопрос.
Научить машину видеть. Перцептрон Розенблатта должен был распознавать зрительные образы — не по жёсткому набору правил «если линия здесь, а точка там», а на собственном опыте, как учится узнавать предметы ребёнок.
Читать почерк — для почты и банков. Спустя тридцать лет та же идея превратилась в рабочий инструмент: сеть Яна Лекуна разбирала рукописные почтовые индексы, а похожие сети — суммы на банковских чеках. Обычную программу на такую задачу настроить почти невозможно: почерков слишком много, и под каждый правило не напишешь.
Решать задачи, для которых нет явных правил. Узнать лицо на фотографии, понять устную речь, разобрать неровный почерк — человеку это даётся легко и без раздумий, а объяснить словами «как именно» он не может. Программировать тут нечего: правила никто не в силах сформулировать. Остаётся один путь — дать машине учиться на примерах, а не расписывать ей всё заранее.
1956–1960-е: имя есть, надежды огромны
В 1956 году в Дартмуте собрался семинар, на котором Джон Маккарти предложил термин «искусственный интеллект» — так область получила имя.
В 1957–1958 годах психолог Фрэнк Розенблатт довёл идею Маккаллока и Питтса до практики: придумал перцептрон — сеть, которая не просто вычисляла по готовой формуле, а училась на примерах, — и проверил идею программой на обычной вычислительной машине IBM 704. Работу оплачивало Управление военно-морских исследований США, и в июле 1958 года оно устроило пресс-конференцию. На следующий день «Нью-Йорк Таймс» написала, что флот показал зародыш электронного компьютера, который, как ожидается, «будет ходить, говорить, видеть, писать, воспроизводить себя и осознавать своё существование». До такой машины было ещё далеко: своё «железо» — Mark I Perceptron — Розенблатт с коллегами собрал и испытал только в 1959–1960 годах. «Глазом» машине служили 400 фотоэлементов в решётке 20×20, а веса связей хранились не в памяти компьютера, а в обычных регулируемых сопротивлениях — потенциометрах, которые во время обучения крутили электромоторы.
Параллельно, в середине 1960-х, в Киеве Алексей Ивахненко разрабатывал метод группового учёта аргументов — многослойную схему обучения. Часть историков — например, Юрген Шмидхубер — считает её одной из первых работающих многослойных обучаемых сетей, хотя это не общепризнанный факт, а оценка, которую отстаивают не все. Идея развивалась не в одной точке мира.
1966: разговор без понимания
В 1966 году Джозеф Вейценбаум показал программу ELIZA — «собеседника-психотерапевта», который отвечал по заранее заданным шаблонам, перестраивая слова из фразы пользователя в вопрос. Нейросетью ELIZA не была — обычная программа по правилам. Но люди всерьёз делились с ней личным, как с настоящим собеседником. Тот же эффект — доверие к убедительному тексту, за которым может не быть понимания, — легко узнать и сегодня.
1969: первая зима
В 1969 году Марвин Минский и Сеймур Пейперт выпустили книгу «Перцептроны», где математически показали ограничения простых однослойных сетей вроде розенблаттовской. Многие прочли книгу как приговор всему направлению. Финансирование и интерес резко упали — этот период называют первой «зимой ИИ» 1970-х годов: идея та же, но никто не хочет её оплачивать.
1986–1990-е: сеть учится глубже — и снова холодает
В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс популяризовали метод обратного распространения ошибки — способ учить не один слой, а несколько сразу, передавая ошибку от выхода обратно к входу. Ограничение, о котором писали Минский и Пейперт, оказалось преодолимым.
Интереса хватило ненадолго: к концу 1980-х — началу 1990-х наступила вторая «зима» ИИ. Технология подросла, но ожидания снова обогнали результат.
При этом практическая работа не останавливалась. В 1989 году Ян Лекун показал сеть, которая читала рукописные почтовые индексы, а в 1990-е похожие сети читали рукописные суммы на чеках в американских банках. Пока громкие обещания остывали, нейросети тихо занимались узкой, но полезной задачей — разбирали почерк там, где раньше это делали только люди.
1997: не всё, что называют «ИИ», — нейросеть
В 1997 году шахматная программа Deep Blue обыграла чемпиона мира Гарри Каспарова. Событие часто вспоминают как триумф искусственного интеллекта — и это справедливо, но Deep Blue не была нейросетью. Она не обучалась на примерах партий, а перебирала миллионы возможных ходов по заданным правилам, отбирая лучший. Хороший повод развести два понятия: «искусственный интеллект» — широкое название задачи, «нейросеть» — один из способов её решать, причём не единственный.
2006: слово, которое всё изменит
В 2006 году Джеффри Хинтон с коллегами показал практичный способ обучать по-настоящему глубокие сети — с большим числом слоёв. В оборот вошло словосочетание «глубокое обучение». Строгой границы, отделяющей «глубокую» сеть от «обычной», не было — но именно с этого момента у направления появилось имя, которое дожило до сегодняшнего дня.
На этом первая большая эпоха заканчивается. Дальше в дело вступят три вещи, которых раньше не хватало одновременно: огромные массивы данных, дешёвые вычисления и новая архитектура. Об этом — следующая статья.
За этими датами стоит не один гений с внезапным озарением, а работа многих десятилетий и сотен исследователей в разных странах — нейрофизиологов, математиков, психологов, инженеров. Маккаллок был нейрофизиологом, Питтс — математиком, Розенблатт — психологом, Ивахненко — инженером-кибернетиком в Киеве, Лекун — инженером во Франции и США. Каждый решал свою часть задачи, часто не зная о работе других, и между первой идеей 1943 года и первым практическим успехом прошло больше сорока лет.
Восемьдесят лет одной строкой
| Год | Что случилось |
|---|---|
| 1943 | Маккаллок и Питтс описали математическую модель нейрона |
| 1950 | Тьюринг предложил тест «может ли машина мыслить» |
| 1956 | Дартмутский семинар, термин «искусственный интеллект» |
| 1957–1958 | Розенблатт и его коллеги придумали перцептрон и проверили идею программой на IBM 704 |
| 1959–1960 | Собрана и испытана физическая машина Mark I Perceptron |
| 1966 | ELIZA — иллюзия понимания без нейросети внутри |
| 1969 | Книга «Перцептроны» Минского и Пейперта, первая «зима» |
| 1986 | Обратное распространение ошибки — сети учатся глубже |
| 1989 | Сеть Лекуна читает рукописные почтовые индексы |
| 1997 | Deep Blue обыгрывает Каспарова — но это не нейросеть |
| 2006 | Хинтон показывает, как обучать глубокие сети |
Из этой истории видна не прямая линия прогресса, а волна: надежда — шумиха — разочарование — тихая полезная работа — новая надежда. Стоит держать это в голове и сейчас, когда снова кажется, что технология «вдруг появилась». Почему именно 2022 год стал переломным — в следующей статье серии, «Почему взрыв случился именно сейчас».
Источники
- A Logical Calculus of the Ideas Immanent in Nervous Activity — Wikipedia
- Turing, A.M. (1950). Computing Machinery and Intelligence. Mind, 59, 433–460 — PDF
- Perceptron — Wikipedia
- Mark I Perceptron — Wikipedia
- Professor’s perceptron paved the way for AI — 60 years too soon — Cornell Chronicle
- Milestone-Proposal: Invention of Deep Learning, 1965 — IEEE Milestones Wiki
- Alexey Ivakhnenko — Wikipedia
- Group method of data handling — Wikipedia
- Backpropagation Applied to Handwritten Zip Code Recognition — LeCun et al., Neural Computation, 1989 (PDF)
- Deep Learning Book — Goodfellow, Bengio, Courville, Introduction
