Через месяц работы с нейросетью почти каждый говорит: «стало быстрее». Спросите на сколько — начнётся неуверенное. «Ну, раза в два». А потом выясняется, что задача теперь делается за двадцать минут вместо сорока, но к ней добавились пятнадцать минут проверки, и выигрыш не двукратный, а на четверть.
Это не самообман и не глупость. Так устроено внимание: мы помним момент, когда модель за десять секунд выдала готовый текст, и не помним получаса, ушедшего на его вычитку и переделку. Яркое запоминается, рутинное — нет.
Отсюда простое правило: экономию нельзя оценивать, её нужно измерять. Иначе вы будете спорить с руководителем ощущениями против ощущений.
Почему это важнее, чем кажется
Три причины, каждая практическая.
Вы поймёте, какие задачи брать дальше. Оказывается, что самая эффектная задача экономит мало, а скучный перенос данных — много. Без замера вы этого не увидите и будете вкладываться не туда.
Вам будет что ответить. «Мне кажется, стало удобнее» — не аргумент ни для руководителя, ни для безопасности. «Эта задача занимала сорок минут, теперь двадцать пять, замерено на пяти повторах» — аргумент.
Вы заметите, когда стало хуже. Так бывает: задача ускорилась, а количество возвратов и уточнений выросло. Без цифр это обнаруживается через полгода, с цифрами — на третьем повторе.
Как замерять
Не заводите систему учёта. Достаточно таблицы на пять строк и секундомера в телефоне.
Шаг 1. Замерьте «до» — до того, как начнёте. Это единственный шаг, который нельзя сделать задним числом, и именно его все пропускают. Возьмите задачу, которую собираетесь передать модели, и сделайте её обычным способом три раза, записывая время. Три раза — потому что один замер ничего не значит: бывает удачный день и неудачный документ.
Шаг 2. Считайте всё, а не только приятное. В «после» входит: постановка задачи, ожидание ответа, чтение результата, проверка, правки, повторный запрос, если с первого раза не вышло. Проверка — часть работы, а не досадная мелочь после неё.
Шаг 3. Замерьте «после» тоже трижды. И желательно не подряд в один вечер энтузиазма, а в обычные рабочие дни.
Шаг 4. Запишите не только время. Две колонки, которые важнее секунд: сколько правок пришлось внести и сколько раз результат вернулся с вопросами от коллег или руководителя. Ускорение, купленное ценой возвратов, — не ускорение.
Шаг 5. Посчитайте месяц. Разница в минутах умножается на число повторов в месяц. Экономия пятнадцати минут на задаче, которая случается дважды в год, — это не результат. Экономия пяти минут на задаче, которая случается двадцать раз в месяц, — результат.
Таблица
| Что записываю | Зачем |
|---|---|
| Время «до», три замера | Точка отсчёта, без неё разговора нет |
| Время «после», три замера | Включая постановку, чтение, проверку и правки |
| Правок на результат | Показывает, не переложили ли работу на редактуру |
| Возвратов от коллег | Показывает, не упало ли качество |
| Повторов в месяц | Превращает минуты в осмысленную цифру |
Пяти строк достаточно. Всё, что сложнее, вы забросите на второй неделе.
Посчитайте на своих цифрах
В калькуляторе ниже уже стоит вымышленный пример: сравнение коммерческих предложений восемь раз в месяц. Обычный цикл занимает 45 минут, работа с ИИ вместе с проверкой — 18 минут. Разовая настройка занимает 90 минут и распределяется на три месяца; в 20% случаев нужна пятнадцатиминутная переделка.
Открыть калькулятор и заменить цифры своими
При этих условиях получается 6 часов обычной работы против 3 часов 18 минут полного цикла с ИИ: чистая разница — 2 часа 42 минуты, или 45%. Это ещё гипотеза. Чтобы превратить её в результат, замените исходные значения тремя реальными замерами «до» и «после».
Что обычно обнаруживается
Выигрыш меньше ожидаемого, но он есть. Типичная картина: не «в пять раз», а «на треть». Треть — это отличный результат, просто он звучит скромнее, чем ощущалось.
Основная экономия — не там, где интересно. Люди начинают с творческого: тексты, идеи, формулировки. А считать выигрыш оказывается на скучном: перенос данных, приведение к формату, сведение таблиц, расшифровки.
Проверка съедает больше, чем думали. Особенно на задачах с числами и фактами. Иногда выясняется, что задача вообще не подходит: результат приходится проверять целиком, а это дольше, чем сделать самому.
На части задач экономии нет вовсе. Это нормальный и полезный результат. Лучше узнать об этом на третьем повторе, чем через год.
Как не обмануть себя
Не меняйте задачу по ходу. Если в «после» вы заодно упростили процесс или отказались от лишнего согласования, вы измеряете не модель, а свои улучшения. Хорошие, но другие.
Не берите лучший случай. Замер на удачном документе даёт красивую цифру и неверный вывод. Берите обычные, включая неудобные.
Не считайте время обучения отдельно. Первые разы медленнее — это нормально, но и они входят в стоимость. Если вы месяц осваивали приём ради экономии двух минут в квартал, честный вывод именно такой.
Не округляйте в свою пользу. Соблазн велик: вы вложились и хотите, чтобы получилось. Записывайте как есть — цифры нужны вам, а не для отчёта.
И про чужие цифры
В статьях и на конференциях вы встретите проценты экономии: «в пять раз», «на 40%». Относитесь к ним спокойно: почти всегда это самооценка автора, полученная тем же способом «мне кажется, стало быстрее», а условия у него другие — другие задачи, другие документы, другой язык.
Единственная цифра, на которую можно опереться в разговоре о вашей работе, — та, что вы измерили на своей задаче. Она обычно скромнее чужих, зато её нельзя оспорить.
И она же защищает от обратного перекоса. Когда через полгода кто-нибудь скажет «а толку-то от вашего ИИ никакого», у вас будет ответ, состоящий не из энтузиазма, а из таблицы на пять строк.
