Как обучают чат-модели — предобучение, SFT, RLHF и DPO?
- Чем base-модель отличается от instruct-модели?
- Что такое RLHF?
Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) — дообучение на примерах «инструкция → хороший ответ»: модель учится выполнять просьбы. Выравнивание по предпочтениям (RLHF, DPO) — учится выбирать ответы, которые люди считают лучше.
- Base-модель продолжает текст, instruct-модель отвечает на запросы
- RLHF: модель наград по сравнениям ответов людьми + обучение с подкреплением (PPO)
- DPO — без отдельной модели наград и RL, напрямую по парам «лучше — хуже»
А ещё Модели рассуждений дополнительно обучают RL на задачах с проверяемым ответом (математика, код)
Подробно
Предобучение. Self-supervised: на триллионах токенов модель учится предсказывать следующий токен. Это самая дорогая стадия — тысячи GPU неделями. Результат — base-модель с широкими знаниями, которая на вопрос может ответить следующим вопросом из того же «форума».
SFT. Десятки — сотни тысяч качественных диалогов «запрос → ответ» в нужном формате. Модель учится роли ассистента, формату ответов, следованию инструкциям.
Выравнивание:
- RLHF — люди сравнивают пары ответов; на сравнениях обучают модель наград; затем политику (саму LLM) оптимизируют RL-алгоритмом под эту награду, ограничивая уход от SFT-модели (KL-штраф);
- DPO — математически сводит ту же задачу к обычному обучению на парах «предпочтительный / отвергнутый»: проще и стабильнее;
- RLAIF / Constitutional AI — часть оценок делает сама модель по набору принципов.
Рассуждающие модели — дополнительное RL на задачах, где ответ проверяется автоматически (тесты для кода, ответ в математике): модель учится длинным цепочкам рассуждений.
Что это значит для инженера: для своей задачи почти всегда достаточно промптов, RAG или SFT/LoRA поверх готовой instruct-модели; собственное предобучение — удел крупных лабораторий.
Что хотят услышать
- Три этапа и что даёт каждый.
- Различие base и instruct.
- RLHF против DPO.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Предобучение на токенах, SFT на инструкциях, затем RLHF или DPO
- ✗Base-модель уже умеет отвечать на инструкции, SFT нужен только для стиля
- ✗RLHF — это предобучение с подкреплением на всём интернете
- ✗DPO требует обучения отдельной модели наград
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.