Что важно знать
- Ноутбук — для исследования, пайплайн — для продакшена.
- Версии кода, данных и модели вместе.
- MLflow: эксперименты, реестр моделей.
Этап 11 из 14 · ≈ 4 ч
Воспроизводимость и эксперименты
Основа с Junior
Код вместо ноутбуков, версии данных и моделей, MLflow.
Критерии освоения
Junior ≈ 4 ч
- Фиксирует окружение, сиды и версии данных так, чтобы эксперимент повторялся
Практика. Сделать эксперимент из ноутбука воспроизводимым — фиксированное окружение, сиды, скрипт запуска.
Middle ≈ 6 ч
- Ведёт эксперименты в MLflow с параметрами, метриками и артефактами
- Переносит код из ноутбука в модули с тестами и конфигурацией
Практика. Перенести обучение модели в пайплайн с MLflow, реестром моделей и конфигурацией.
Senior ≈ 4 ч
- Вводит стандарты экспериментов и воспроизводимости для команды data science
Практика. Описать и внедрить в команде шаблон проекта, правила версионирования данных и моделей и ревью экспериментов.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеЧто такое MLOps и как модель попадает в продакшен?Middle
MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация модели с версией → проверка → деплой (батч или онлайн-сервис) → мониторинг →…
Полный разборКак сделать ML-эксперимент воспроизводимым?Junior
Результат зависит от кода, данных, параметров, окружения и случайности. Фиксировать: seed для всех генераторов (random, numpy, torch, параметр random_state в sklearn), версии библиотек (lock-файл), версию данных (снимок, хеш или инструмент вроде DVC), коммит…
Полный разборКак вести учёт ML-экспериментов, например в MLflow?Middle
Трекинг экспериментов хранит для каждого запуска параметры, метрики (в том числе по эпохам), артефакты (модель, графики, отчёт), теги (коммит, версия данных) — и позволяет сравнивать запуски в интерфейсе. Реестр моделей хранит версии моделей со стадиями…
Полный разборКак перенести код из Jupyter-ноутбука в рабочий проект?Junior
Ноутбук хорош для исследования, но плох для работы: скрытое состояние (порядок ячеек), нет тестов, сложное ревью, параметры зашиты в код. Перенос: вынести логику в функции в модулях (загрузка, признаки, обучение, оценка), параметры — в конфигурацию, точку…
Полный разборЗачем нужно виртуальное окружение и как управлять зависимостями?Junior
Виртуальное окружение — отдельная копия Python со своими пакетами для каждого проекта.
Полный разборКак писать тесты на pytest — assert, запуск, параметризация?Junior
Тест — функция с именем test_… в файле test_.py, проверки — обычный assert: pytest показывает, какие значения не совпали. Запуск — команда pytest (или pytest путь::имя_теста). Один тест на много входов — @pytest.mark.parametrize. Ожидаемое исключение — with…
Полный разборДокументация
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.