Что важно знать
- Пакетное предсказание проще и часто достаточно.
- Онлайн: задержка, совпадение признаков при обучении и в работе.
- Дрейф данных и концепта; метки приходят с задержкой.
- Новая модель — через сравнение с текущей на трафике.
Этап 11 из 14 · ≈ 10 ч
Внедрение и мониторинг моделей
Основа с Middle
Пакетное и онлайн-предсказание, дрейф данных, мониторинг качества и переобучение.
Критерии освоения
Middle ≈ 10 ч
- Внедряет модель пакетным расчётом или сервисом на FastAPI в Docker
- Отслеживает дрейф признаков и качество модели с учётом задержки разметки
Практика. Развернуть модель сервисом на FastAPI в Docker и настроить отчёт о дрейфе признаков.
Senior ≈ 6 ч
- Проектирует жизненный цикл модели — переобучение, A/B-проверку новой версии, откат
Практика. Описать и реализовать процесс выкатки новой версии модели через теневой режим и A/B-тест.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеЧто такое MLOps и как модель попадает в продакшен?Middle
MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация модели с версией → проверка → деплой (батч или онлайн-сервис) → мониторинг →…
Полный разборЧто такое дрейф данных и концепта и как его отслеживать?Middle
Data drift — меняется распределение входных признаков (пришли новые пользователи, изменился продукт). Concept drift — меняется сама зависимость «признаки → ответ» (мошенники сменили схему, после изменения цен поменялось поведение). Оба снижают качество…
Полный разборПочему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?Middle
Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и training-serving skew. Окончательное решение — онлайн-эксперимент: A/B-тест по бизнес-метрике…
Полный разборКак внедрить ML-модель — пакетный расчёт или онлайн-сервис?Middle
Пакетный расчёт (batch): по расписанию модель считает прогнозы для всех объектов и пишет их в таблицу (отток на завтра, рекомендации на сутки) — просто, дёшево, легко проверить. Онлайн-сервис: прогноз по запросу в момент действия пользователя (антифрод при…
Полный разборКак понять, что задачу не нужно решать с помощью LLM?Senior
LLM нужна, когда вход — свободный текст или неструктурированные данные и ответ нельзя получить правилом. Если задача решается правилом, поиском, SQL или классической моделью, они будут дешевле, быстрее, детерминированнее и проще в проверке. Признаки лишней…
Полный разбор
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.