По профессиональным чатам расходятся готовые инструкции вроде такой: «Проверь пункт нашего положения на соответствие федеральному закону номер такой-то» или «Дай заключение, можно ли удалить эти пункты регламента». Их публикуют как рабочий приём, по ним правят внутренние документы.
Проблема в том, что эту команду модель выполнить не может — а ответ на неё выдаёт уверенный и правдоподобный. Разберём, почему так, и что делать вместо.
Что происходит, когда вы просите «сверить»
Человек, которого просят проверить документ на соответствие закону, делает несколько вещей: открывает действующую редакцию, находит нужную статью, читает её целиком, смотрит, не изменилась ли она, сопоставляет формулировки и оценивает практику применения.
Модель не делает ничего из этого. Она подбирает наиболее вероятное продолжение текста — то есть пишет то, что обычно пишут в подобных заключениях. У неё нет открытого перед глазами документа; есть статистическая память о том, как выглядят такие тексты.
Результат внешне неотличим от работы: структура заключения на месте, ссылки выглядят как ссылки, формулировки звучат юридически. Именно поэтому приём и разошёлся — он выглядит работающим.
Отдельно про «модель знает законы». Что-то она действительно воспроизводит: часто встречающиеся нормы, общие принципы, устоявшиеся формулировки. Но она не знает, какая редакция действует сегодня, что изменилось за последний год и что отменено. Для документа, который вы собираетесь править, это решающие сведения.
Три вида ошибок, от заметной к незаметной
Выдумка целиком. Модель называет статью или пункт, которых не существует. Ловится быстро: открываете документ и не находите. Самая безобидная из трёх, потому что видна.
Устаревшая редакция. Норма существует и когда-то была именно такой. С тех пор её изменили или отменили, а модель воспроизводит прежнюю. Ловится, если вы сверяете с действующей редакцией, а не с памятью.
Приписанный вывод — самая опасная. Документ существует. Реквизиты верные. Ссылка открывается. Но вывод, который модель ему приписала, там отсутствует: сказано другое, или про другое, или с оговорками, которые всё меняют.
Третий случай коварен тем, что проходит обычную проверку. Вы сверяете номер — сходится. Дату — сходится. Убеждаетесь, что документ настоящий, и успокаиваетесь. А ошибка живёт не в реквизитах, а в содержании, которого вы не прочитали.
Отсюда правило, которое стоит запомнить: проверять надо не то, что документ существует, а то, что в нём написано именно это.
Что делать вместо «сверь с законом»
Модель бесполезна как источник нормы и полезна как помощник в работе с ней. Разница в том, кто предоставляет текст.
Дайте норму сами. Откройте действующую редакцию, скопируйте нужную статью в чат и попросите объяснить простыми словами или сопоставить с вашим пунктом. Теперь модель работает с текстом, который перед ней, а не с воспоминанием о нём. Это принципиально другая задача, и с ней она справляется хорошо.
Просите вопросы, а не выводы. «Прочитай наш пункт и скажи, какие места в нём выглядят спорными и что стоит проверить у юриста» — полезный запрос. Вы получаете карту мест для проверки, а не заключение.
Просите объяснить, а не решить. «Объясни, что означает это условие и к чему оно обязывает стороны» — отличная задача. «Реши, законно ли это» — задача не для модели.
Требуйте признания незнания. Одна строка в запросе заметно снижает долю выдуманного: «если не можешь подтвердить формулировку по тексту, который я тебе дал, — так и напиши, не восстанавливай по памяти».
Реальный прогон: сверка двух версий договора
Мы дали локальной Qwen3 14B два коротких синтетических фрагмента договора и отдельно записали согласованные изменения. Модель верно заметила тихую замену срока действия с 2026 на 2027 год и полностью принятое изменение срока устранения недостатков. Но изменение оплаты с согласованных 15 до 20 дней она назвала «частично учтено», хотя точнее было бы «не учтено».
Открыть полный результат сверки
Это хороший пример границы: модель помогает быстро найти места для проверки, но её собственные ярлыки тоже надо сверять. В прогоне не было реального договора, имён, сумм или реквизитов. Полный разбор приёма есть в статье «Договор до юриста».
Как проверять то, что получилось
Если в ответе всё-таки появились ссылки на нормы или документы, порядок такой.
Откройте источник. Не поисковую выдачу по названию, а сам документ в официальном или надёжном источнике.
Проверьте редакцию. Действует ли она сегодня, не было ли изменений.
Прочитайте фрагмент целиком. Не только процитированную фразу, но и то, что вокруг: оговорки, исключения, условия применения. Приписанный вывод обнаруживается именно здесь.
Сверьте смысл, а не наличие. Вопрос не «есть ли такая статья», а «говорит ли она то, что ей приписали».
Если хотя бы один шаг не выполнен — у вас на руках правдоподобный текст, а не проверенный факт. Разница между ними становится видна в самый неподходящий момент.
Честно про экономию
Здесь важно не обмануться. На задачах, где цена ошибки высока, соотношение времени часто оказывается обратным ожидаемому: генерация занимает минуты, а добросовестная проверка — часы. Это не значит, что инструмент бесполезен: он снимает страх пустого листа, даёт структуру и подсказывает, куда смотреть. Но экономию надо считать вместе с проверкой, иначе она воображаемая.
И ещё одно соображение, которое стоит держать в голове, когда вам называют долю ошибок. Пять процентов звучит немного — до тех пор, пока не спросишь, что это за пять процентов. В работе, где ошибка означает неверное решение по человеку, спорный документ или неправомерное требование, «в основном верно» — неподходящий стандарт качества.
Кого это касается
Всех, кто работает с нормами и внутренними правилами: кадровиков с положениями и регламентами, бухгалтеров с требованиями и разъяснениями, снабженцев с закупочными правилами, руководителей с приказами.
Общий признак опасной задачи простой: вы просите модель сделать вывод о том, что вы не читали сами. Если норму вы не открывали, а заключение уже есть — это не проверка, это её имитация.
Правильный порядок обратный: сначала вы находите и читаете, потом модель помогает разобраться, сопоставить и сформулировать. В таком порядке она экономит настоящее время и почти не ошибается — потому что работает с тем, что перед ней, а не с тем, что помнит.
Отдельно о том, что делать, если в ответе всё выглядит убедительно, но вам неспокойно: об этом статья «Почему нейросеть уверенно врёт», а про способ поймать ошибку чужими руками — «Вторая пара глаз».
