Что такое дообучение модели и LoRA?
- Что такое fine-tuning?
- Что такое PEFT?
- Сколько данных нужно для дообучения?
Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.
- Полное дообучение — дорого по памяти и железу; LoRA и другие PEFT-методы — в разы дешевле
- Данные: сотни и тысячи качественных примеров «вход → идеальный выход»
А ещё Качество данных важнее количества; оценка — на отложенном наборе до и после
Подробно
Когда нужно — формат или стиль не удаётся стабильно получить промптом; нужна специфичная задача; хочется заменить большую модель маленькой дообученной ради скорости и цены. Для «знания фактов» лучше RAG.
Виды:
- полное дообучение — обновляются все веса; требует много памяти GPU и рискует «забыванием» прежних умений;
- PEFT (parameter-efficient fine-tuning) — обучается малая часть параметров. Самый популярный способ — LoRA: к слоям модели добавляются две маленькие матрицы низкого ранга, их произведение — поправка к весам. Основные веса заморожены, обучаемых параметров — доли процента, адаптер весит мегабайты, а адаптеров под разные задачи можно держать несколько. QLoRA — то же поверх сжатой (квантизованной) модели, ещё меньше памяти.
Данные: реальные запросы и эталонные ответы в нужном формате, разнообразные, без противоречий. Плохие примеры модель тоже выучит.
Процесс: собрать данные → отложить тестовую часть → обучить → сравнить с исходной моделью и с промптом по метрикам на тестовой части → проверить, что не просели общие умения.
Что хотят услышать
- Что такое дообучение и когда оно оправдано.
- Идея LoRA: маленькие обучаемые матрицы при замороженной модели.
- Требования к данным.
- Оценка до и после на отложенном наборе.
Частые ошибки
- Дообучать ради добавления фактов.
- Не сравнивать с базовой моделью и хорошим промптом.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Дообучение — лучший способ добавлять часто меняющиеся факты, а LoRA переобучает все веса модели, просто быстрее
- ✓Дообучение закрепляет формат или навык; LoRA учит малые добавочные матрицы
- ✗Дообучение — лучший способ добавить в модель часто меняющиеся факты
- ✗Для дообучения нужны миллионы примеров, качество неважно
Что спросят дальше
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.