Этап 15 из 18

Дообучение моделей

Основа

Когда дообучать, а когда хватит промпта и RAG — LoRA, дистилляция, квантизация.

Дообучение меняет поведение модели — стиль, формат, узкий навык. Знания ему даются плохо: новые факты надёжнее дать через RAG.

Порядок, в котором стоит пробовать:

  1. промпт и примеры;
  2. RAG или инструменты, если не хватает данных;
  3. дообучение — когда нужен стабильный формат или стиль, дешёвая маленькая модель вместо большой, или специфичная задача, которую промптом не решить.

Дообучение требует качественного набора данных (сотни — тысячи примеров), инфраструктуры и оценки до и после.

Темы этапа

  • LoRA и PEFT Основа

    Дообучение маленькой добавкой к весам вместо всей модели.

  • Дистилляция и квантизация Полезно знать

    Как сделать модель меньше и дешевле — учить маленькую на ответах большой и сжимать веса.

Вопросы с собеседований

Смотреть все
Когда использовать RAG, а когда дообучение модели?Middle

RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).

Полный разбор
Что такое дообучение модели и LoRA?Middle

Дообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования