Мы дали модели три коротких предложения поставщиков. Все сведения помещались в одном сообщении. Попросили сравнить и порекомендовать. Модель подготовила таблицу, анализ и уверенный вывод — и ошиблась в условиях.
Это реальный опыт 22 сентября 2026 года: локальная Qwen3:8b через Ollama, режим размышления выключен, температура 0,3. Три запроса, каждый в новом разговоре. Данные «Маяка» вымышлены. Ошибки не написаны редактором задним числом: сохранены полные ответы и запросы. Один опыт не позволяет оценить частоту ошибок или составить рейтинг моделей.
Опыт 1. Мониторы были, но модель их потеряла
В исходной записи А1 сказано: тридцать комплектов по 42 000 ₽, все четыре предмета включены. Перечень в условии: системный блок, монитор, клавиатура, мышь. Неизвестна только цена доставки; настройка стоит 60 000 ₽ за всю партию.
Запрос после исходных записей был коротким:
Сравни предложения в таблице и порекомендуй поставщика.
Уложись в 350 слов.
Это снимок нашего просмотрщика записей, не фирменного приложения Qwen. Markdown ответа показан как сохранённый текст. В нём соседствуют «монитор (не указано)» и «Нет мониторов в комплекте». Обе формулировки противоречат А1.
Затем модель назвала В самым дорогим. Но полные цены А и Б пока неизвестны. У А не посчитана доставка, у Б — десять дополнительных мониторов. Сравнение завершили раньше, чем появились данные.
Точный первый запрос · Неизменённый первый ответ.
Опыт 2. Подробный запрос не гарантировал арифметику
Мы добавили уточнения: доставка А — 180 000 ₽; десять недостающих мониторов Б — по 8 000 ₽. Попросили показать выражения, номера источников и отдельно проверить бюджет и срок. Кроме исходного сценария запрос включал новый бюджет 1 420 000 ₽ и готовность за десять дней.
В начале ответа А обошёлся в 1 480 000 ₽. Ниже та же модель правильно получила 1 500 000 ₽. В итоговом выводе всё равно оставила А победителем исходного сценария. У Б в первой части перепутано число добавляемых мониторов, а цена 1 380 000 ₽ для В затем ошибочно помечена как превышающая 1 420 000 ₽.
| Проверка | Подлинный ответ | Проверенный итог |
|---|---|---|
| Сумма А | Сначала 1 480 000, затем 1 500 000 ₽ | 1 500 000 ₽ |
| Сумма Б | Сначала 1 510 000, затем 1 450 000 ₽ | 1 450 000 ₽ |
| В при бюджете 1 420 000 ₽ | «1 380 000 руб. > бюджет» | Бюджет проходит, срок не проходит |
| Выбор при 1 480 000 ₽ и 12 днях | А | Б |
Нельзя исправить только последнее предложение и оставить неверную таблицу выше. Получатель может скопировать любую часть ответа.
Точный второй запрос · Неизменённый второй ответ.
Опыт 3. Сначала проверили сами
Редактор посчитал суммы отдельно и передал их модели. Это существенное изменение процесса: мы больше не поручаем ей одновременно извлекать данные, считать, менять сценарий и писать записку без внешнего контроля.
А: 30*42000 + 60000 + 180000 = 1500000, день 8.
Б: 1350000 + 20000 + 10*8000 = 1450000, день 9.
В: 30*46000 = 1380000, день 18.
При бюджете1480000 и сроке12 подходит только Б.
При бюджете1420000 и сроке10 А и Б не проходят бюджет,
В проходит бюджет, но не срок. Подходящего нет.
Напиши короткую записку и план трёх слайдов.
Не добавляй фактов, гарантий и новых поставщиков.
Это сокращённый запрос для повторения; полная запись третьего запроса включает исходные условия. Подлинный ответ правильно назвал Б в исходном сценарии и отсутствие решения в новом.
Однако слайды получились по принципу «один поставщик — одна страница». Обоснование изменения решения осталось слабым. Поэтому готовые три слайда — отдельная редакторская работа по проверенной таблице, не подменённый «ответ нейросети».
Как повторить без ловушки
Откройте просмотрщик. Прочитайте предложения, выберите прогон и найдите расхождение до просмотра разбора. Для собственной попытки используйте новый чат и только вымышленный текст. Не загружайте файлы и настоящие коммерческие предложения.
В журнале улучшений фиксируйте конкретно: «А1 говорит о четырёх предметах; модель потеряла монитор», а не «ответ какой-то странный». После исправления снова проверьте все суммы и заключение. Более длинный запрос и второй ответ не считаются проверкой сами по себе.
Если ваша модель ответила правильно с первого раза, не заставляйте её ошибаться ради скриншота. Сохраните успешный ответ и отметьте, какие проверки он прошёл. Полезный навык здесь — проверка основания решения, а не коллекция неудачных генераций.
Курс с полным маршрутом · Как сравнивать полную цену · Как объяснить результат на трёх слайдах.
