Как проверить, что квантованная или дистиллированная модель достаточно хороша для вашей задачи?
- Как сравнить модель до и после квантизации?
Сравнивать на своём наборе оценки, а не по общим бенчмаркам: прогнать исходную и сжатую модель с одинаковыми промптами и параметрами и посмотреть качество по сценариям, а также задержку, пропускную способность и память на целевом железе. Потери часто проявляются на сложных и редких случаях: длинный контекст, рассуждения, строгий формат, русский язык — их обязательно включают в набор.
- Средняя метрика может почти не измениться при провале в одном сценарии
- Проверить долю ошибок формата (JSON) — сжатые модели чаще ломают структуру
- Сравнивать выигрыш по стоимости с потерей качества в деньгах
А ещё Квантизация 8 бит обычно почти без потерь, 4 бита — заметнее на малых моделях
Подробно
Процедура:
- Зафиксировать набор, промпты, параметры генерации.
- Прогнать исходную модель — базовая линия.
- Прогнать сжатые варианты (int8, 4 бита разными методами, дистиллированную).
- Сравнить метрики по сценариям, долю ошибок формата, отказов.
- Измерить скорость генерации, время до первого токена, память и пропускную способность под нагрузкой.
- Решить: выигрыш в стоимости против потерь качества.
Тонкости. Для дистилляции — проверить, не сузилась ли модель только под обучающие примеры: добавить в набор запросы вне их распределения.
Что хотят услышать
- Свой набор и одинаковые условия.
- Метрики по сценариям, сложные случаи.
- Скорость и память на целевом железе.
- Решение через баланс стоимости и качества.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Достаточно сравнить модели по общему публичному бенчмарку
- ✗Если средняя метрика не изменилась, модель годится для всех сценариев
- ✓Обе модели на своём наборе по сценариям, плюс задержка и память
- ✗Квантизация никогда не влияет на качество, поэтому проверка не нужна
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.