Квантование LLM: как экономить память и проверять качество

Квантование уменьшает точность представления части чисел в модели. Оно может сократить память и изменить скорость, но результат зависит от формата, метода, оборудования и движка. Надпись «4 bit» не описывает всё, что нужно знать для закупки сервера.

Разделите три объекта

Квантовать можно веса, активации и KV-cache. Это разные части исполнения. Если веса хранятся в четырёх битах, из этого не следует, что cache тоже четырёхбитный. В спецификации следует перечислять каждую настройку отдельно.

Документация vLLM содержит несколько форматов и матрицу аппаратной совместимости. 1 llama.cpp предлагает собственные варианты квантования GGUF. 2 Названия форматов из разных экосистем не являются гарантированно взаимозаменяемыми артефактами.

Оцените память без ложной точности

Нижняя оценка весов равна параметрам, умноженным на число бит и делённым на восемь. Условные 8 млрд параметров дают 4 GB при идеальных четырёх битах. Реальный файл будет включать служебные данные; отдельные тензоры могут храниться иначе.

Для выбора GPU полезно записать три величины: размер артефакта на диске, память после загрузки и пиковую память на заданной нагрузке. Они отвечают на разные вопросы. Ни одна из них сама по себе не определяет число пользователей сервиса.

Проверьте качество на целевой задаче

Возьмите один исходный вариант модели и несколько кандидатов квантования. Соберите контрольные примеры: типовые вопросы, сложные документы, извлечение точных чисел, требования к формату и случаи, где правильнее отказаться от ответа. Оценивайте одинаковым методом и без подсказки, какой вариант использовался.

Если приложение возвращает JSON, проверяйте не только смысл, но и пригодность структуры для дальнейшей обработки. Если оно суммирует договоры, отдельно оценивайте пропущенные условия и выдуманные детали. Средний балл общего бенчмарка не заменяет проверку вашей задачи.

Что сравнивать	Какой вопрос закрывает
Качество на отложенных примерах	Допустима ли потеря результата?
Память под нагрузкой	Помещается ли рабочая конфигурация?
Первый токен и длительность ответа	Подходит ли интерактивный режим?
Ошибки при параллельности	Устойчива ли система?
Стоимость успешной задачи	Есть ли экономический эффект?

Не обещайте ускорение заранее

Меньший объём весов может уменьшить передачу данных, но преобразования и конкретные kernels тоже стоят времени. Иногда экономия памяти оказывается важнее ускорения; иногда формат плохо поддерживается выбранным устройством. Вывод должен следовать из измерения.

Запускайте сравнение после прогрева, на одинаковых длинах и с одинаковым пределом параллельности. Не сравнивайте одну модель в быстром пакетном режиме с другой в режиме минимальной задержки. Сохраняйте версии контейнера и артефакта, чтобы результат можно было воспроизвести.

Как закрепить выбор

В техническом задании укажите полный идентификатор квантованной модели, ревизию, формат, движок и настройки cache. Зафиксируйте контрольный набор и допустимую деградацию. Если поставщик заменяет формат после теста, это новая конфигурация, которую нужно проверить.

Не переписывайте исходные данные компании ради красивого сравнения. Если для калибровки нужны примеры, сначала определите допустимость их использования и условия хранения. Сам факт локального квантования не отменяет требований к исходному датасету.

Начните с расчёта VRAM и небольшого пилота. Результат квантования должен выражаться в понятном компромиссе: сколько памяти и денег удалось сэкономить, какие ограничения появились и на каких задачах качество осталось приемлемым.