Знакомая ситуация: у коллеги «всё работает», а у вас к двадцатому числу закончились лимиты. Разница обычно не в объёме работы, а в том, в каком виде вы отдаёте материалы модели.
Статья про единицу, которой всё измеряется, и про три формата, которые расходуют её быстрее всего.
Токен — единица работы модели
Модель не читает буквы и не читает слова целиком. Текст разбивается на куски — токены. Примерно это части слов: короткое слово может быть одним токеном, длинное — двумя-тремя. В русском тексте токенов на одну и ту же мысль обычно выходит больше, чем в английском.
Всё, что происходит в разговоре, считается в токенах: ваш вопрос, приложенные материалы, ответ модели и вся предыдущая переписка, которую она держит в памяти. Лимиты тарифа и стоимость работы измеряются тем же.
Отсюда практическое следствие: дорого не то, что сложно, а то, что объёмно. Простая просьба к длинному документу стоит дороже, чем сложное рассуждение над абзацем.
Три дорогих формата
Скан и фотография документа. Самый частый источник неожиданного расхода. Изображение не текст: прежде чем работать со смыслом, модель тратит ресурс на распознавание. Страница-скан обходится в разы дороже той же страницы, набранной текстом, а качество распознавания при этом хуже: таблицы разъезжаются, цифры путаются.
Файлы, где текст не текст. Документ, собранный из картинок, презентация со сложной вёрсткой, таблица с объединёнными ячейками. Формально файл небольшой, а расход неожиданно велик, потому что модели приходится разбирать структуру.
Аудио и видео. Час записи целиком — самый дорогой способ получить пересказ встречи. Расшифровка того же часа в текст занимает несколько страниц, то есть в разы меньше.
Что с этим делать
Переводите в текст заранее. Скан — через распознавание, встречу — через расшифровку. Инструменты для этого есть бесплатные, в том числе встроенные в операционные системы и офисные программы. Модель получает текст и работает с ним быстро и дёшево.
Дополнительная выгода: текст можно прочитать глазами и поправить очевидные ошибки распознавания до того, как модель на них что-то построит.
Отдавайте нужный кусок, а не весь файл. Если вопрос по одному разделу договора — приложите раздел. Целый документ на сто страниц ради одного пункта — это оплаченный расход без пользы, и качество ответа от него обычно падает: в длинном тексте модель хуже находит существенное.
Часто файл не нужен вовсе. Половина задач решается описанием: «есть таблица с колонками дата, контрагент, сумма, статус — нужна формула, которая найдёт повторяющиеся платежи». Здесь наружу уходит одна фраза вместо всей выгрузки — и дешевле, и безопаснее.
Начинайте новый разговор. Вся переписка считается заново с каждым сообщением: чем длиннее разговор, тем дороже обходится следующая реплика. Новая задача — новый чат. Заодно ответы станут точнее.
Берите модель по задаче. Для переписывания абзаца и коротких пересказов быстрой модели достаточно. Мощная нужна там, где важно рассуждение. Молот для иголки расходует лимиты и приносит лишние подробности.
Вот реальный учебный пример более дешёвого и проверяемого маршрута: текстовые файлы и CSV разбираются локально, после чего человек видит список источников, извлечённые поля и ошибки. Открыть результат обработки папки. Для скана первый шаг был бы отдельным: распознать текст и глазами сверить критичные числа.
Сколько это стоит на самом деле
Точных цифр в статье намеренно нет: тарифы, лимиты и правила подсчёта меняются несколько раз в год, и любая цифра здесь устареет раньше, чем вы её примените.
Полезнее другое — посмотреть свой расход. У сервисов есть страница потребления; откройте её после дня обычной работы и посмотрите, что съело больше всего. Обычно это один-два случая, где в чат ушёл целый файл вместо фрагмента.
И честная оговорка про будущее: отрасль сейчас тратит на вычисления заметно больше, чем зарабатывает на подписках, поэтому лимиты и цены будут меняться — и скорее в сторону ужесточения. Привычка отдавать текст вместо скана и фрагмент вместо файла пригодится не только сегодня.
Короткое правило
Перед тем как приложить что-то тяжёлое, задайте себе один вопрос: можно ли объяснить задачу словами вместо файла? Если да — объясните. Если нет — приложите текстовый фрагмент, а не скан целого документа.
Это правило заодно решает и вопрос данных: чем меньше уходит наружу, тем меньше поводов для разговора со службой безопасности.
