Это третья статья короткой серии о том, откуда взялись нейросети. Первая — что такое нейросеть, если без формул, вторая — как всё начиналось восемьдесят лет назад. Если пропустили обе — эта тоже читается отдельно.
В прошлой статье была история с двумя «зимами»: идея появлялась, обнадёживала и остывала — не хватало то данных, то вычислительной мощности, то удачной конструкции сети. К концу 2000-х всё это наконец стало складываться вместе. Дальше — про то, что именно сложилось и почему заметно это стало не сразу, а только в конце 2022 года.
Три ингредиента, а не одно озарение
Для обучения сети нужны три вещи одновременно: много размеченных примеров, достаточно мощности, чтобы на них учиться, и архитектура, которая умеет использовать первое и второе. По отдельности каждый ингредиент существовал и раньше. Вместе они собрались только в 2010-х.
Данные. Сеть учится на примерах — а примеров нужны миллионы. Интернет годами копил тексты, фотографии, подписи к ним. В 2009 году исследовательница Фей-Фей Ли с коллегами собрала ImageNet — набор из миллионов размеченных изображений: на каждой картинке было явно написано, что на ней. До этого сети было почти не на чем массово тренироваться; после — стало на чём.
Вычисления. Обучение сети — это миллионы однотипных арифметических операций подряд. Обычный процессор компьютера делает их по очереди, одну за другой. А игровая видеокарта устроена так, чтобы одновременно двигать тысячи точек на экране — то есть считать тысячи однотипных операций параллельно. Для игр это графика, для нейросети — ровно то же самое умение, применённое к обучению. В 2012 году сеть AlexNet, которую построили Алекс Крижевский и Илья Суцкевер под руководством Джеффри Хинтона, обучалась на двух игровых видеокартах — и с большим отрывом выиграла конкурс распознавания образов на базе ImageNet. Этот момент часто называют переломным: стало понятно, что переход на видеокарты — не мелкая оптимизация, а смена возможностей.
Архитектура. Мощности и данных было мало, если сеть устроена неудачно — училась медленно или забывала начало длинного текста раньше, чем добиралась до конца. В 2017 году исследователи Google опубликовали статью «Attention Is All You Need» — с архитектурой «трансформер» (это и есть буква T в аббревиатуре GPT). Трансформер умеет удерживать связи между далёкими друг от друга словами в тексте, а не только между соседними, и хорошо распараллеливается на тех самых видеокартах. Дальше счёт пошёл на годы, а не десятилетия: 2018 — GPT-1 и BERT, 2019 — GPT-2, 2020 — GPT-3.
Уберите любой из трёх ингредиентов — и ничего не работает. Идеальная архитектура без данных ничему не научится. Гора данных без мощности будет обучаться веками. Мощность без подходящей архитектуры потратится впустую. Только когда все три оказались в одной точке, разрыв между «работает в лаборатории» и «работает на практике» закрылся.
Нейросети работали рядом незаметно
Здесь легко подумать, что до 2022 года нейросетей будто и не было — а потом вдруг появились. На самом деле несколько лет они уже стояли рядом, просто без вывески.
Голосовой помощник Siri появился в 2011 году. Осенью 2016 года Google Переводчик перешёл на нейросетевой перевод — тексты стали звучать заметно естественнее, чем в эпоху перевода по словарям и правилам. В 2017-м у Яндекса появилась Алиса. Спам-фильтр в почте, поиск лиц в галерее телефона — тоже во многом работа нейросетей, просто её не подписывают.
Отдельный сюжет — игры. Во второй статье был Deep Blue, который в 1997 году обыграл Каспарова перебором ходов, без всякой нейросети. А в 2016 году AlphaGo обыграла Ли Седоля в го со счётом 4:1 — и это уже была нейросеть: в го вариантов ходов настолько много, что одним перебором их не разобрать.
То есть к моменту выхода ChatGPT нейросети уже переводили, узнавали голос и лица, обыгрывали чемпионов — просто каждая делала что-то одно и пряталась за интерфейсом обычного приложения.
ChatGPT — не изобретение, а дверь
30 ноября 2022 года вышел ChatGPT — и это часто описывают как момент рождения технологии. Разбор выше показывает, что это не совсем так. GPT-3 работала уже с 2020 года, трансформер — с 2017-го, ImageNet и видеокарты — с начала 2010-х. Новым было не то, что появилось внутри, а то, что появилось снаружи: простое окошко чата, куда можно напечатать вопрос обычными словами и сразу получить ответ. До этого те же возможности были доступны в основном разработчикам через программный интерфейс — то есть требовали кода и обращения к сервису из другой программы.
ChatGPT убрал этот порог входа. Не пришлось ничего программировать — пришлось только напечатать вопрос. Из-за этого разница почувствовалась не постепенно, а как будто разом: технология, которая годами готовилась внутри лабораторий и API, за несколько месяцев стала доступна на телефоне у миллионов людей.
Дальше счёт снова пошёл быстро: в 2023 году вышли GPT-4, Claude, YandexGPT, GigaChat — несколько разных компаний почти одновременно показали свои большие языковые модели. А в 2024 году Нобелевскую премию по физике получили Джон Хопфилд и Джеффри Хинтон — с формулировкой «за основополагающие открытия и изобретения, которые сделали возможным машинное обучение с помощью искусственных нейросетей». Хопфилд получил премию за сеть, которую построил в 1982 году, Хинтон — за работы 1980-х. Символично: премию вручили не за новинку 2024 года, а за фундамент, который закладывался с начала истории, описанной во второй статье серии.
За простым окошком чата стоят не два лауреата и не одна лаборатория, а десятилетия работы тысяч исследователей: тех, кто закладывал саму идею нейросети в 1940-е, тех, кто продолжал работу через обе «зимы» ИИ, тех, кто в 2010-е свёл вместе данные, вычисления и архитектуру. Во второй статье серии видно, сколько имён и сколько лет для этого понадобилось.
Что из этого следует для практики
Инструмент, с которым вы работаете, — зрелый в том смысле, что архитектуре, лежащей внутри, уже несколько лет, а идее нейросети — больше восьмидесяти. Это не вчерашнее изобретение, а результат долгой работы многих людей.
Но зрелость архитектуры не означает отсутствия ошибок. Модель по-прежнему предсказывает продолжение текста, а не сверяется со справочником фактов, и может уверенно сообщить неточность, даже если конструкция под капотом отлично отлажена. Про то, почему так происходит и как это ловить, — отдельная статья: «Почему нейросеть уверенно врёт — и как это ловить». А про то, для каких задач инструмент вообще не стоит подключать, — «Когда нейросеть звать не надо».
Три статьи серии на этом заканчиваются: что такое нейросеть без формул, как она добиралась до нас восемьдесят лет и почему её заметили именно сейчас. Дальше — уже не история, а практика: как проверять ответ, прежде чем на него положиться.
