Что такое квантизация модели и чем приходится за неё платить?
- Чем 4-битная модель отличается от 16-битной?
- Как запустить LLM на одной видеокарте?
Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode упирается в чтение весов из памяти. Плата — некоторая потеря качества, заметнее на сложных задачах и у малых моделей.
- Память под веса ≈ число параметров × байт на параметр: 70B в fp16 — около 140 ГБ, в 4 битах — около 35–40 ГБ
- Посттренировочные методы: GPTQ, AWQ, форматы GGUF (llama.cpp)
- QLoRA — дообучение LoRA поверх 4-битной базовой модели
А ещё Качество квантованной модели проверяют на своих задачах, а не по общим бенчмаркам
Подробно
Зачем. Большая модель не помещается в память одной видеокарты, а скорость генерации ограничена тем, сколько байт весов нужно прочитать на каждый токен. Меньше бит — меньше памяти и выше скорость.
Виды:
- только веса (weight-only, int4/int8) — самый распространённый вариант для LLM;
- веса и активации (int8, fp8) — ускоряет и вычисления, но сложнее сохранить качество;
- KV-кэш в пониженной точности — больше параллельных запросов и длиннее контекст.
Методы: простое округление теряет качество из-за выбросов в весах; GPTQ и AWQ подбирают квантование слоя по калибровочным данным, защищая важные веса. Для локального запуска — GGUF-модели в llama.cpp и Ollama.
Компромисс: 8 бит обычно почти без потерь; 4 бита — небольшие потери, приемлемые для многих задач; ниже — заметная деградация. Большая модель в 4 битах часто лучше маленькой в 16 битах при той же памяти.
Что хотят услышать
- Что квантуется и почему это ускоряет.
- Оценка памяти по числу параметров.
- Компромисс качества и основные методы.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Квантизация увеличивает число параметров модели
- ✓Веса в 8 или 4 бита: меньше памяти, быстрее, но хуже качество
- ✗Квантизация не влияет на качество модели ни при каких настройках
- ✗Квантизация ускоряет только обучение, а скорость генерации не меняет
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.