Чем базовая (base) модель отличается от инструктивной (instruct, chat)?
- Что такое base-модель?
- Почему base-модель не отвечает на вопросы?
Базовая модель прошла только предобучение — предсказание следующего токена на огромном корпусе текстов. Она продолжает текст: на вопрос может ответить ещё одним вопросом или продолжить список вопросов. Инструктивная модель дополнительно обучена на примерах «инструкция → ответ» и выровнена по предпочтениям людей: она понимает роли сообщений, выполняет просьбы, отказывается от вредного. В продуктах используют инструктивные модели.
- Базовые модели берут для собственного дообучения и исследований
- У открытых моделей обычно публикуют обе версии: Base и Instruct
- Шаблон чата (роли, служебные токены) у каждой модели свой — его применяет библиотека
А ещё Угодливость и лишние отказы — побочные эффекты выравнивания
Подробно
Пример. Промпт «Столица Франции?»
- base-модель может продолжить: «Столица Германии? Столица Италии?» — как в списке вопросов из учебника;
- instruct-модель ответит: «Париж».
Как получается instruct:
- Предобучение — знания о языке и мире.
- SFT — примеры диалогов и выполнения инструкций.
- Выравнивание (RLHF, DPO) — выбор ответов, которые люди считают лучше.
Практика. Для дообучения под свою задачу обычно берут instruct-модель и дообучают её на своих примерах; base выбирают, когда нужно полностью своё поведение и много данных.
Что хотят услышать
- Base продолжает текст, instruct выполняет просьбы.
- Этапы получения instruct-модели.
- Что используют в продуктах.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Base только предобучена и продолжает текст; instruct обучена выполнять просьбы
- ✗Base-модель меньше по числу параметров, instruct — больше в несколько раз
- ✗Base-модель обучена только на диалогах без инструкций, а instruct — на корпусе текстов, поэтому base лучше для чат-ботов поддержки
- ✗Base-модель лучше подходит для чат-бота поддержки, так как меньше отказывает
Разбор темы
- Как устроена языковая модель — токены, контекст и генерация
Что на самом деле делает LLM, почему она ошибается, как считаются токены и стоимость и как выглядит запрос к API модели.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.