Этап 5 из 18 · ≈ 4 ч

Как обучают чат-модели

Основа с Junior

Предобучение, дообучение на инструкциях, RLHF и DPO — откуда у модели «характер».

  1. Предобучение — предсказание следующего токена на триллионах токенов текста и кода. Модель получает знания и навыки языка.
  2. SFT — дообучение на примерах «инструкция — хороший ответ». Модель учится следовать просьбам и формату диалога.
  3. Выравнивание по предпочтениям (RLHF, DPO) — модель учат выбирать ответы, которые люди или модель-оценщик считают лучше: полезнее, безопаснее, честнее.
  4. Обучение рассуждениям — подкрепление на задачах с проверяемым ответом (математика, код).

Что важно знать

  • Знания модели ограничены датой среза данных — свежие факты дают через RAG или поиск.
  • Отказы, многословность, угодливость — следствия выравнивания, а не «понимания».
  • Дообучение на своих данных — это тот же SFT в малом масштабе, обычно с LoRA.

Критерии освоения

Junior ≈ 4 ч

  • Описывает этапы обучения чат-модели — предобучение, SFT, выравнивание по предпочтениям
  • Объясняет, почему модель не знает свежих событий и как это компенсируют

Практика. Объяснить коллеге-неспециалисту за 5 минут, откуда у чат-модели знания и почему она иногда выдумывает.

Middle ≈ 4 ч

  • Объясняет разницу RLHF и DPO и откуда берутся отказы и угодливость модели
  • Определяет, какую проблему решает дообучение, а какую — RAG

Практика. Для трёх реальных задач обосновать письменно — промпт, RAG или дообучение.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как обучают чат-модели — предобучение, SFT, RLHF и DPO?Middle

Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) — дообучение на примерах «инструкция → хороший ответ»: модель учится выполнять…

Полный разбор
Почему модель не знает о недавних событиях и как это компенсировать?Junior

Модель выучила данные до даты среза обучения и после этого не обновляется: о более поздних событиях, ценах, версиях библиотек она не знает или уверенно отвечает устаревшим. Компенсируют, давая свежие данные в контексте: поиск по базе знаний или вебу (RAG)…

Полный разбор
Как устроена большая языковая модель (LLM)?Junior

LLM — нейросеть-трансформер, которая предсказывает следующий токен по предыдущим; текст получается, если повторять это шаг за шагом.

Полный разбор
Что такое дообучение модели и LoRA?Middle

Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.

Полный разбор
Когда использовать RAG, а когда дообучение модели?Middle

RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).

Полный разбор
Чем базовая (base) модель отличается от инструктивной (instruct, chat)?Junior

Базовая модель прошла только предобучение — предсказание следующего токена на огромном корпусе текстов. Она продолжает текст: на вопрос может ответить ещё одним вопросом или продолжить список вопросов. Инструктивная модель дополнительно обучена на примерах…

Полный разбор
Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением?Junior

С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру: кластеризация, понижение размерности, поиск аномалий. С подкреплением — агент учится…

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования