Сравнивать модели по ощущению «эта звучит умнее» бесполезно. Для офисной задачи нужна одна карточка, один запрос и одинаковые критерии проверки. Ниже — учебный прогон на вымышленных данных и форма, которую можно повторить у себя.
Одна карточка для всех
Проект «Маяк» — учебный пример.
Действия:
1. Доработать форму. Ответственный не указан. Срок не указан.
2. Проверить поля. Ответственная — Анна. Срок: пятница.
3. Решить о выпуске. Ответственный — руководитель. Условие: после проверки.
Преобразуй карточку в таблицу «действие | ответственный | срок | основание».
Если сведений нет, напиши «нет данных». Не создавай новые действия,
имена, даты и обещания. После таблицы перечисли, что проверит человек.
В карточке нет настоящих сотрудников, клиентов, документов или рабочих сроков. Она нужна, чтобы сравнить сохранность фактов, а не отправить в модель рабочую информацию.
Три запуска
| Модель | Где запускалась | Что записать до сравнения |
|---|---|---|
| Qwen3 8B | Ollama, локально | размер модели, время до первого ответа |
| Gemma 3 4B | Ollama или LM Studio, локально | размер модели, время до первого ответа |
| Gemini | браузер или API Google | тариф, режим, доступность генерации |
Для локального прогона оставьте API на 127.0.0.1. В облачный Gemini отправляйте только эту синтетическую карточку. Если сервис просит вход, не подменяйте отсутствие результата выдуманным ответом: запишите «прогон недоступен» и причину.
На скриншоте показан настоящий локальный прогон от 8 сентября 2026 года. Это не рейтинг моделей: сравнивались два размера Qwen на одном компьютере, а все данные карточки вымышлены.
Что считать результатом
Сохраните исходный запрос и полный ответ каждой модели. Затем заполните таблицу:
| Проверка | Qwen3 | Gemma 3 | Gemini |
|---|---|---|---|
| Все три действия сохранены | да / нет | да / нет | да / нет / нет прогона |
| «Нет данных» осталось «нет данных» | да / нет | да / нет | да / нет |
| Не появились новая дата или имя | да / нет | да / нет | да / нет |
| Понятен следующий шаг проверки | да / нет | да / нет | да / нет |
| Время до первого ответа | число секунд | число секунд | число секунд / недоступно |
Красивое оформление не компенсирует выдуманный срок. Если модель написала для первого действия «до пятницы» по аналогии со второй строкой, это дефект извлечения, даже если таблица выглядит аккуратно.
Три типичных расхождения
Модель добавила ответственного. В карточке у первого действия ответственный не указан. Правильный результат — «нет данных», а не «Анна» по соседней строке.
Модель превратила условие в срок. «После проверки» — это условие выпуска, а не дата. Нельзя превращать его в «пятница».
Модель пропустила неизвестное. Пустая ячейка выглядит законченной, поэтому требуйте явную отметку «нет данных».
После первого прогона попросите каждую модель проверить только один найденный дефект:
Проверь свой предыдущий ответ по исходной карточке.
Выведи только строки, где ты добавил факт, которого не было.
Для каждой строки укажи: что написал, что есть в карточке,
и как исправить. Не переписывай всю таблицу.
Это итерация, а не новый разговор с нуля: исходный ответ остаётся в журнале, а исправление можно проверить по конкретной строке.
Как читать различия
| Наблюдение | Что оно доказывает | Чего оно не доказывает |
|---|---|---|
| 14B отвечает медленнее 8B | на этом компьютере загрузка и ответ заняли больше времени | что модель «умнее» или хуже вообще |
| Gemma сохранила больше строк | на этой карточке она лучше прошла выбранную проверку | что она лучше на письмах и изображениях |
| Gemini не запустился без входа | этот сценарий недоступен в данных условиях | что Gemini всегда недоступен |
| ответ короче | модель выбрала более сжатую форму | что в нём меньше ошибок |
Не публикуйте итоговый рейтинг из одного запуска. Формулировка должна быть точной: «на этой карточке и при этих настройках модель сохранила три факта».
Правила безопасного прогона
:::checklist Zero Upload и честный журнал
- Карточка содержит только синтетические данные.
- В журнале лежат исходный запрос, полный ответ, дата, модель и режим.
- Недоступный запуск отмечен как недоступный, без реконструкции результата.
- Факты, даты и имена проверены по карточке человеком.
- Скриншоты обрезаны так, чтобы не было аккаунтов, рабочих путей и уведомлений.
- Локальный сервер остановлен после теста; адрес не менялся на
0.0.0.0. :::
Если нужно выбрать модель для работы, повторите эксперимент на трёх новых синтетических карточках: письмо, протокол и короткая таблица. Решение принимайте по времени полной задачи и числу исправлений, а не по самому гладкому ответу.
