Спроектируйте ML-систему для предсказания оттока клиентов.
- ML system design — с чего начать?
- Как спроектировать систему рекомендаций или антифрода?
Порядок: бизнес-задача и действие (что сделаем с предсказанием — скидка, звонок; сколько это стоит) → постановка (что такое отток, горизонт, когда предсказываем) → данные и разметка → признаки без утечки → базовая линия и модель → офлайн-метрики, связанные с бизнесом (полнота в топ-N при бюджете на удержание) → инфраструктура (пакетное или онлайн-предсказание, хранилище признаков) → A/B-тест эффекта удержания → мониторинг и переобучение.
- Модель полезна, только если на её предсказание есть действие с понятной экономикой
- Предсказать отток мало — важно, кого удастся удержать (uplift-моделирование)
- Пакетный расчёт раз в день часто достаточен и проще онлайна
А ещё Интервьюер ценит вопросы о бизнесе и данных выше, чем выбор алгоритма
Подробно
Постановка: «клиент не совершит покупку 60 дней» — определение оттока и горизонта влияет на всё. Предсказание делается на дату, по данным строго до неё.
Метрика: если бюджет позволяет связаться с 5% клиентов — важна точность в топ-5%, а не ROC-AUC на всех.
Эффект: контрольная группа без воздействия; метрика — сохранённая выручка минус стоимость удержания. Uplift-модели предсказывают, кто изменит поведение от воздействия.
Инфраструктура: пайплайн признаков, обучение по расписанию, реестр моделей, пакетное предсказание в CRM, мониторинг дрейфа и качества с задержкой разметки.
Что хотят услышать
- Бизнес-задача, действие и экономика до модели.
- Постановка без утечки и метрика под бюджет.
- Эксперимент для эффекта, инфраструктура и мониторинг.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Начать с выбора нейросетевой архитектуры и обучить её на всех данных
- ✗Достаточно высокого ROC-AUC на исторических данных, A/B-тест не нужен
- ✗Брать признаки из периода после момента прогноза — так модель точнее
- ✓От бизнес-действия и определения оттока к признакам, метрикам и A/B
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.