Что такое дистилляция модели?
- Как сделать маленькую модель почти такой же хорошей, как большая?
Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на исходной разметке, и достигает качества, недостижимого при обучении «с нуля» того же размера.
- Мягкие метки (вероятности всех классов) несут больше информации, чем один правильный ответ
- В мире LLM — генерация синтетических данных большой моделью и SFT маленькой
- Цель — дешевле и быстрее в продакшене при узкой задаче
А ещё Условия использования коммерческих моделей могут запрещать обучение конкурирующих моделей на их ответах
Подробно
Классическая схема. Учитель выдаёт распределение вероятностей по классам; ученик минимизирует расхождение с ним (KL) плюс обычную функцию потерь на правильных метках. «Температура» в softmax делает распределение мягче и раскрывает, какие неправильные классы учитель считает похожими.
Для LLM чаще всего:
- Собрать запросы своей задачи.
- Получить ответы большой модели (и, при необходимости, отфильтровать их по качеству).
- Дообучить маленькую модель (SFT, LoRA) на этих парах.
Результат — модель в десятки раз дешевле, хорошо решающая узкую задачу (классификация обращений, извлечение полей, ответы по шаблону).
Ограничения: ученик наследует ошибки учителя и хуже обобщает за пределы обучающих запросов. Нужен честный тестовый набор, чтобы сравнить дистиллированную модель с исходной на своей задаче.
Что хотят услышать
- Идея учителя и ученика.
- Роль мягких меток.
- Как это применяют к LLM и ограничения.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Удаление части весов большой модели без дообучения
- ✗Удаление части весов большой модели (прунинг) с переводом оставшихся в 4 бита — без дополнительного обучения
- ✓Ученик учится повторять ответы учителя
- ✗Объединение нескольких моделей в ансамбль
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.