Перед первым запросом. На протяжении курса используйте только вымышленные карточки «Маяка» и учебные файлы. Локальное окно программы не доказывает локальную обработку: некоторые помощники отправляют прочитанное облачной модели. Рабочие документы, ключи и личные данные не добавляйте. Допуск — короткий тест в начале блока 2; после него начинается практика. На открытой странице можно прочитать вопросы; для проверки ответов откройте этот урок в личном кабинете.
Перед стартом. ИИ-старт, затем «Локальный ИИ на Windows за вечер» или курс 10 «Локальный ИИ: первый запуск и проверка» — там установка и первый запуск разобраны по шагам, здесь они не повторяются.
Что открыть. Компьютер с разрешённой установкой программ. Первые описания можно разобрать без установки; это не подтверждает локальный запуск.
Если своей задачи пока нет. Выберите одну задачу: сводка трёх вымышленных заметок. Заметка 1: нужно 30 коробок. Заметка 2: подтверждены 24. Заметка 3: дата остальных неизвестна. Результат: один абзац без придуманной даты.
Пройти тренажёр первого диалога — четыре коротких шага с авторскими образцами, без входа и подключения к модели. Памятка: запрос, ответ, проверка и правка.
Разговор о локальных моделях обычно начинают с названий. Начинать надо с памяти.
Весам модели нужна быстрая память. Во время ответа основной объём весов должен быть доступен в оперативной или видеопамяти. Некоторые программы умеют частично выгружать данные, но это резко снижает скорость. Поэтому сначала оценивают размер модели, запас для системы и длину контекста.
Скорость зависит от всей связки. Важны пропускная способность памяти, процессор или графика, формат модели, размер контекста и настройки программы. Один объём памяти отвечает на вопрос «поместится ли», но не предсказывает скорость сам по себе.
Единая память. У компьютеров на Apple Silicon процессор и графика используют общий пул памяти. Это позволяет графическому ускорителю работать с моделью без отдельной видеопамяти того же объёма. Доступный запас всё равно меньше установленной памяти: часть занимает система и приложения. Подробнее — в статье «Почему открытую модель удобно держать на маке».
Как считать. Из общей памяти вычитаем систему и открытые программы. Для грубой оценки модель в четырёхбитном сжатии занимает около половины гигабайта на каждый миллиард параметров: 8 миллиардов — примерно 4–5 гигабайт, 14 — около 8–9. Формат и служебные данные меняют результат, а длинный разговор требует дополнительной памяти. Поэтому оставляйте запас и сверяйтесь с размером конкретного файла.
Что это значит на практике. На 16 ГБ разумно начинать с модели около 8 миллиардов параметров. 14B может запуститься в сжатом виде, но оставит меньше запаса и часто будет медленнее. На 32 ГБ выбор шире. Эти числа — стартовая оценка; окончательное решение даёт только одинаковый тест на своём компьютере.
И сразу про покупку. В Mac на Apple Silicon память распаяна: докупить нельзя; у многих тонких ноутбуков с Windows — тоже, уточняйте до покупки. Если выбираете технику под эту задачу — берите память с запасом, всё остальное вторично.
В среднем столбце таблицы — заполненный пример для ноутбука с 16 ГБ; правый столбец — для вашего компьютера.