Этап 4 из 18 · ≈ 12 ч

Обучение, валидация и метрики

Основа с Junior

Задачи ML, разбиение данных, переобучение, утечки и метрики качества.

Модель учится на примерах и должна хорошо работать на новых данных. Всё остальное следует из этого.

Что важно знать

  • Задачи: классификация, регрессия, кластеризация, ранжирование, генерация.
  • Выборки: обучающая — учиться, валидационная — подбирать настройки, тестовая — один раз оценить итог.
  • Переобучение: модель запомнила обучающие примеры и плохо работает на новых.
  • Утечка данных: в признаках оказалась информация из будущего или из ответа — блестящие метрики на тесте и провал в работе.
  • Метрики классификации: точность обманчива при дисбалансе классов; precision, recall, F1, ROC-AUC и PR-AUC.
  • Те же идеи работают для LLM: набор для оценки не должен попадать в примеры промпта, а улучшение «на трёх вопросах» — не улучшение.

Критерии освоения

Junior ≈ 12 ч

  • Объясняет обучение с учителем и без, классификацию и регрессию на примерах
  • Объясняет, зачем делить данные на обучающую, валидационную и тестовую выборки
  • Считает precision, recall и F1 по матрице ошибок и объясняет, когда точность обманчива

Практика. Обучить логистическую регрессию на открытом датасете отзывов, посчитать метрики и разобрать 20 ошибок вручную.

Middle ≈ 6 ч

  • Находит утечку данных в постановке эксперимента
  • Выбирает метрику под цену ошибок задачи и порог классификатора

Практика. Сравнить классификацию обращений LLM без обучения и простой моделью на эмбеддингах по F1 и стоимости на 500 размеченных примерах.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением?Junior

С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру: кластеризация, понижение размерности, поиск аномалий. С подкреплением — агент учится…

Полный разбор
Зачем делить данные на обучающую, валидационную и тестовую выборки?Junior

Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.

Полный разбор
Что такое переобучение модели и как с ним бороться?Junior

Переобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.

Полный разбор
Что такое утечка данных (data leakage) в машинном обучении?Middle

Утечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды: утечка целевой переменной (признак — следствие ответа), утечка из будущего…

Полный разбор
Какие метрики качества классификации вы знаете?Junior

Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.

Полный разбор
Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?Middle

ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный объект получит оценку выше случайного отрицательного. PR-кривая — precision…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования