Что такое MLOps и как модель попадает в продакшен?
- Что такое model registry?
- Чем training-serving skew опасен?
MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация модели с версией → проверка → деплой (батч или онлайн-сервис) → мониторинг → переобучение.
- Воспроизводимость: версии кода, данных, параметров, зависимостей и seed
- Training-serving skew — признаки в продакшене считаются иначе, чем при обучении; лечат общим кодом и feature store
- Выкатка: теневой режим, канарейка, A/B-тест против текущей модели
А ещё Инструменты: MLflow, DVC, Kubeflow, Airflow; обслуживание — Triton, BentoML, KServe
Подробно
Этапы:
- Данные — версии наборов, проверки схемы и качества.
- Эксперименты — трекинг (MLflow): параметры, метрики, артефакты каждой попытки.
- Регистрация — модель с версией, метриками, ссылкой на данные и код; статусы staging и production.
- Проверка перед выкаткой — метрики на отложенном наборе, сравнение с текущей моделью, тесты на срезах (регионы, новые пользователи), задержка и размер.
- Деплой — батчевый скоринг по расписанию или онлайн-сервис; постепенная выкатка.
- Мониторинг — качество, дрейф данных, задержки.
- Переобучение — по расписанию или по сигналу дрейфа.
Training-serving skew — самая частая причина «модель хорошая, а в продакшене плохая»: признак при обучении считался SQL-запросом за месяц, а в сервисе — по-другому или с задержкой. Решения — общий код преобразований, feature store с одинаковым расчётом офлайн и онлайн, логирование признаков на инференсе.
Выкатка: теневой режим (новая модель считает прогнозы, но решения принимает старая), затем канарейка и A/B-тест по бизнес-метрике.
Что хотят услышать
- Этапы жизненного цикла модели.
- Воспроизводимость и реестр моделей.
- Training-serving skew.
- Безопасная выкатка.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗После деплоя модель не требует мониторинга и переобучения: данные стабильны
- ✓Версии кода, данных, параметров и зависимостей
- ✗Признаки для продакшена пишут заново отдельно от обучения — так быстрее
- ✓Общий код признаков для обучения и продакшена
- ✓Постепенная выкатка: теневой режим, канарейка, A/B
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.