Вся линейка курсов учит, как получать от нейросети пользу. Эта статья про обратное: где она гарантированно навредит — и почему люди, которые вляпались, не были ни глупыми, ни ленивыми.
Общее у всех историй ниже одно. Модель не ломалась и не «сходила с ума». Она добросовестно делала то, для чего сделана: продолжала текст правдоподобно. Проблема начиналась там, где человек убирал себя из процесса.
Случай первый: адвокат и шесть несуществующих дел
Нью-Йорк, 2023 год. Адвокат готовит возражение по иску к авиакомпании и просит ChatGPT найти подходящую судебную практику. Модель выдаёт шесть дел с номерами, цитатами и ссылками на решения вышестоящих судов.
Адвокат делает то, что кажется разумным: спрашивает у самой модели, настоящие ли это дела. Она подтверждает — да, настоящие, их можно найти в правовых базах. Документ уходит в суд.
Дел не существует. Ни одного. Юристы другой стороны не смогли их найти, судья тоже. На слушании выяснилось, что и цитаты, и номера, и сами дела модель придумала целиком. Суд оштрафовал двух адвокатов и их фирму на 5000 долларов — и это не считая репутации, которую в профессии, живущей на доверии, деньгами не восстановишь.
Что здесь важно понять. Ошибка была не в том, что адвокат воспользовался ИИ. Ошибка — в способе проверки: он спросил подтверждение у того, кто и придумал факты. Модель не имеет доступа к правовой базе и не умеет отличать «я это помню» от «я это только что сочинил». Её «да, дела настоящие» — такой же сгенерированный текст, как и сами дела.
Проверка, которая бы сработала: открыть правовую базу и найти дело по номеру. Пять минут работы.
Случай второй: чат-бот пообещал скидку, платить пришлось компании
Канада, 2024 год. Пассажир срочно летит на похороны бабушки и спрашивает у чат-бота авиакомпании про льготный тариф. Бот отвечает: покупайте билет по полной цене, а вернуть разницу можно в течение 90 дней после полёта.
Это неправда — на сайте той же компании написано обратное, задним числом тариф не оформляют. Человек покупает билеты, подаёт заявление, получает отказ и идёт в трибунал.
Компания защищалась неожиданно: заявила, что чат-бот — «отдельное юридическое лицо, отвечающее за свои слова». Трибунал этот аргумент отклонил и постановил: компания отвечает за всю информацию на своём сайте, независимо от того, статичная это страница или бот. Выплата — 812 долларов плюс издержки.
Что здесь важно понять. Сумма смешная, а прецедент — нет. Ответственность за слова ассистента несёт тот, кто его поставил. Не разработчик модели, не поставщик, не «алгоритм». Если ваш бот пообещал клиенту условия, которых нет, — это ваше обещание.
Отсюда правило для любой автоматизации в вашей организации: перед запуском отвечайте на вопрос «что будет, если он пообещает лишнее» — до того, как он это пообещает.
Случай третий: ИИ-рекрутер, который невзлюбил женщин
Крупная технологическая компания несколько лет строила систему автоматического отбора резюме. Логика безупречна: возьмём резюме за десять лет, посмотрим, кого нанимали, и научим модель узнавать таких же.
Система начала занижать оценки резюме, где встречалось слово «женский» — например, «капитан женской шахматной команды», — и выпускниц женских колледжей. Причину нашли быстро: в отрасли десять лет нанимали преимущественно мужчин, модель добросовестно выучила эту закономерность и стала её воспроизводить. Проект закрыли.
Что здесь важно понять. Модель не «стала предвзятой» — она точно отразила предвзятость данных, на которых училась. Это касается не только найма: любая задача вида «посмотри, как решали раньше, и делай так же» переносит в будущее все перекосы прошлого, включая те, о которых вы не знаете.
Практический вывод для офиса: не поручайте модели решения о людях — приём, оценку, повышение, увольнение, распределение премий. Не потому, что она хуже человека, а потому, что её ошибку невозможно ни увидеть, ни обжаловать.
Случай четвёртый: тихий, без суда и заголовков
Этот вы не найдёте в новостях, потому что он происходит каждый день и заканчивается ничем.
Сотрудник готовит еженедельный отчёт. Раньше уходило полтора часа: собрать цифры, свести, написать выводы. Теперь он отдаёт цифры модели, получает готовый текст за три минуты — и тратит час двадцать на проверку: сходятся ли суммы, откуда взялся вывод про «рост на 12%», почему исчезла оговорка про сезонность.
Экономия — десять минут. Ощущение — «работаю с будущим». Через месяц проверка становится формальной: гладкий текст усыпляет внимание. Ещё через месяц в отчёт попадает цифра, которую никто не пересчитал.
Что здесь важно понять. Это не провал технологии — это провал выбора задачи. Там, где проверка результата стоит дороже его создания, ИИ не экономит, а перекладывает работу с производства на контроль. И контроль, в отличие от производства, деградирует незаметно.
Единственная защита — считать честно: время генерации плюс время проверки, на трёх повторениях. Если сумма не падает — задача выбрана неудачно, возьмите другую.
Стоп-лист: где нейросеть не помощник
Решения о людях. Наём, увольнение, оценка, премии, распределение нагрузки. Здесь недопустима не только ошибка, но и невозможность объяснить решение человеку, которого оно касается.
Юридические и медицинские заключения. Модель формулирует правовые утверждения особенно убедительно и особенно ненадёжно. Ссылка на закон, номер статьи, срок давности — либо подтверждены профильным специалистом, либо не существуют.
Точные расчёты, от которых зависят деньги. Модель проектирует формулу — считает таблица. Смета, налог, зарплата, отпускные — не место для правдоподобия.
Задачи, где вы не сможете проверить результат. Если тема вам незнакома настолько, что вы не отличите верный ответ от уверенного, — вы не заказчик, а заложник. Сначала разберитесь сами хотя бы настолько, чтобы задавать неудобные вопросы.
Общение с клиентом без человека в цепочке. Смотри случай второй: обещание бота — ваше обещание.
Конфиденциальные данные без разрешения организации. Ни при каком тарифе, ни в какой юрисдикции, ни в каком «приватном режиме».
Задачи, где проверка дороже исполнения. Считайте честно.
Творческая работа, за которую вы отвечаете лицом. Модель даёт усреднённое — то, что чаще всего встречалось в текстах. Если ценность работы в вашей точке зрения, усреднение её уничтожает.
Настоящий маленький провал. В учебном сравнении версий договора модель правильно выделила изменения, но одну правку неверно назвала стилистической, хотя она меняла срок. Открыть полный разбор. Это хороший стоп-сигнал: если цена такой ошибки высока, финальное решение остаётся у профильного специалиста.
Как отличить хорошую задачу от плохой
Три вопроса перед тем, как открыть чат:
- Я смогу проверить результат? Если нет — задача не ваша.
- Что будет, если ошибка пройдёт незамеченной? Если ответ страшнее, чем «переделаю» — нужен второй человек, а не вторая модель.
- Сколько времени займёт проверка? Если больше, чем сделать руками, — берите другую задачу.
Три «да» — открывайте чат. Хотя бы одно «нет» — работайте руками, и это тоже нормальный ответ. Умение не звать ИИ там, где он не нужен, — часть той же грамотности, что и умение его звать.
Sources: Mata v. Avianca, Inc. (S.D.N.Y. 2023) · Moffatt v. Air Canada, 2024 BCCRT 149
