Этап 15 из 18 · ≈ 6 ч

Дистилляция и квантизация

Полезно знать с Middle

Как сделать модель меньше и дешевле — учить маленькую на ответах большой и сжимать веса.

Дистилляция — большая модель генерирует ответы на ваши задачи, маленькая дообучается на них. Итог — модель, которая в узкой задаче близка к большой, но в разы дешевле и быстрее.

Квантизация — хранение весов в 8 или 4 битах вместо 16: память и стоимость падают в 2–4 раза, качество — немного.

Что важно знать

  • Дистилляция ограничена условиями использования провайдера большой модели — их проверяют.
  • Форматы квантизации: GGUF (llama.cpp, Ollama), AWQ и GPTQ (серверы на GPU).
  • Качество после сжатия проверяют на своём наборе, а не по общим бенчмаркам.

Критерии освоения

Middle ≈ 6 ч

  • Объясняет дистилляцию и квантизацию и их влияние на качество и стоимость
  • Сравнивает квантованную модель с исходной на своём наборе

Практика. Запустить одну модель в 16, 8 и 4 битах и сравнить качество на наборе, память и скорость.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое дистилляция модели?Middle

Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на исходной разметке, и достигает качества, недостижимого при обучении «с нуля» того же…

Полный разбор
Что такое квантизация модели и чем приходится за неё платить?Middle

Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode упирается в чтение весов из памяти. Плата — некоторая потеря качества, заметнее на…

Полный разбор
Что такое дообучение модели и LoRA?Middle

Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.

Полный разбор
Как проверить, что квантованная или дистиллированная модель достаточно хороша для вашей задачи?Middle

Сравнивать на своём наборе оценки, а не по общим бенчмаркам: прогнать исходную и сжатую модель с одинаковыми промптами и параметрами и посмотреть качество по сценариям, а также задержку, пропускную способность и память на целевом железе. Потери часто…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования