Этап 12 из 14 · ≈ 16 ч

ML system design

Основа с Senior

Проектирование ML-системы от бизнес-задачи до мониторинга; ведение DS-проекта.

Структура ответа

  1. Бизнес-задача и действие на основе предсказания.
  2. Постановка: целевая переменная, горизонт, момент предсказания.
  3. Данные, разметка, признаки без утечки.
  4. Базовая линия и модель.
  5. Офлайн-метрика, связанная с бизнесом.
  6. Инфраструктура: пакетно или онлайн.
  7. Эксперимент для оценки эффекта.
  8. Мониторинг и переобучение.

Критерии освоения

Senior ≈ 16 ч

  • Проводит секцию ML system design — бизнес-задача, постановка, данные, метрики, модель, инфраструктура, эксперимент, мониторинг
  • Ведёт DS-проект от постановки до внедрения с измеримым эффектом
  • Определяет, где ML не нужен и задачу решают правила или аналитика

Практика. Разобрать письменно 3 задачи ML system design (отток, рекомендации, антифрод) по единой структуре и пройти пробное собеседование.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Спроектируйте ML-систему для предсказания оттока клиентов.Senior

Порядок: бизнес-задача и действие (что сделаем с предсказанием — скидка, звонок; сколько это стоит) → постановка (что такое отток, горизонт, когда предсказываем) → данные и разметка → признаки без утечки → базовая линия и модель → офлайн-метрики, связанные с…

Полный разбор
Как вы ведёте DS-проект от постановки задачи до внедрения?Senior

Большинство DS-проектов проваливаются не из-за модели, а из-за постановки и внедрения. Этапы: понимание бизнеса (решение, которое изменится, и метрика успеха) → понимание данных → подготовка → моделирование с базовой линией → оценка с заказчиком → внедрение и…

Полный разбор
Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?Middle

Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и training-serving skew. Окончательное решение — онлайн-эксперимент: A/B-тест по бизнес-метрике…

Полный разбор
Как понять, что задачу не нужно решать с помощью LLM?Senior

LLM нужна, когда вход — свободный текст или неструктурированные данные и ответ нельзя получить правилом. Если задача решается правилом, поиском, SQL или классической моделью, они будут дешевле, быстрее, детерминированнее и проще в проверке. Признаки лишней…

Полный разбор
Как внедрить ML-модель — пакетный расчёт или онлайн-сервис?Middle

Пакетный расчёт (batch): по расписанию модель считает прогнозы для всех объектов и пишет их в таблицу (отток на завтра, рекомендации на сутки) — просто, дёшево, легко проверить. Онлайн-сервис: прогноз по запросу в момент действия пользователя (антифрод при…

Полный разбор

← Вся карта «Data Scientist»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования