Собеседование по машинному обучению
Задачи и метрики, переобучение и регуляризация, кросс-валидация и утечки данных, бустинг, нейросети и внимание, жизненный цикл модели и дрейф — то, о чём спрашивают Data Scientist и ML-инженеров.
- 01Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?
Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и…
Middle - 02Как искать аномалии в данных, например мошеннические транзакции?
Если есть размеченные случаи — это классификация с сильным дисбалансом: бустинг, метрики PR-AUC и полнота при заданной доле ложных тревог, порог по стоимости ошибок. Если разметки…
Middle - 03Как работает механизм внимания (self-attention) и архитектура трансформера?
Self-attention: для каждого токена считаются три вектора — Query (что ищу), Key (что содержу), Value (что передам). Вес внимания токена i к токену j — softmax от скалярного…
Middle - 04Как работает обратное распространение ошибки и чем отличаются SGD с моментом и Adam?
Обратное распространение считает градиенты потерь по всем весам по цепному правилу: производная сложной функции — произведение производных звеньев. Сначала прямой проход сохраняет…
Middle - 05Что такое компромисс смещения и разброса (bias-variance tradeoff)?
Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и…
Middle - 06Какие метрики качества классификации вы знаете?
Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
Junior - 07Что такое матрица ошибок и как по ней посчитать precision и recall?
Матрица ошибок — таблица 2×2: TP (верно нашли положительный), FP (ложная тревога), FN (пропустили положительный), TN (верно отвергли). Из неё: precision = TP / (TP + FP) — доля…
Junior - 08Что такое кросс-валидация и как правильно валидировать модель на временных данных?
K-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных…
Middle - 09Что такое утечка данных (data leakage) в машинном обучении?
Утечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды…
Middle - 10Как строится дерево решений?
Дерево жадно выбирает разбиение по признаку и порогу, которое лучше всего разделяет данные: для классификации — максимальное уменьшение неоднородности (индекс Джини или энтропия)…
Junior - 11Как работает дерево решений и чем случайный лес отличается от градиентного бустинга?
Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких…
Middle - 12Что такое производная и градиент и как они используются в обучении моделей?
Производная функции показывает, как быстро она меняется при малом изменении аргумента, и её знак — растёт функция или убывает. Градиент — вектор частных производных по всем…
Junior - 13Что такое дистилляция модели?
Дистилляция — обучение маленькой модели-ученика повторять поведение большой модели-учителя. Ученик учится на ответах или распределениях вероятностей учителя, а не только на…
Middle - 14Как вы ведёте DS-проект от постановки задачи до внедрения?
Большинство DS-проектов проваливаются не из-за модели, а из-за постановки и внедрения. Этапы: понимание бизнеса (решение, которое изменится, и метрика успеха) → понимание данных →…
Senior - 15Как вы проводите разведочный анализ данных (EDA)?
Цель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и…
Junior - 16Чем модели-энкодеры отличаются от моделей-декодеров?
Энкодер (BERT и его потомки) видит весь текст сразу в обе стороны и выдаёт представление текста — им удобно классифицировать, искать и строить эмбеддинги. Декодер (GPT, Llama…
Junior - 17Как вы строите признаки для модели?
Признаки часто важнее выбора модели. Источники: знание предметной области (доля возвратов клиента, время с последней покупки), агрегаты по истории (среднее, число событий за…
Middle - 18Как объяснить предсказание модели — важность признаков и SHAP?
Глобальная важность показывает, какие признаки в целом влияют на модель; локальная — почему модель приняла конкретное решение. SHAP раскладывает прогноз на вклады признаков на…
Middle - 19Зачем масштабировать признаки и как кодировать категориальные признаки?
Масштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не…
Junior - 20Чем различаются XGBoost, LightGBM и CatBoost и как настраивать градиентный бустинг?
Все три — реализации градиентного бустинга на деревьях. XGBoost — регуляризация в функции потерь и быстрая точная реализация; LightGBM — рост деревьев по листьям и гистограммы…
Middle - 21Как работает градиентный спуск и что такое learning rate?
Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком…
Junior - 22Как подбирать гиперпараметры модели?
Гиперпараметры задают до обучения (глубина, learning rate, регуляризация), подбирают по качеству на валидации. Grid search перебирает сетку — дорого и неэффективно; random search…
Middle - 23Как работать с несбалансированными классами?
При 1% мошенничества модель «всё честно» даёт 99% accuracy и бесполезна. Нужны правильные метрики (precision, recall, F1, PR-AUC), подбор порога под цену ошибок, веса классов в…
Middle - 24Как работает k-means и как выбрать число кластеров?
K-means итеративно: расставить k центров, отнести каждую точку к ближайшему центру, пересчитать центры как средние своих точек — повторять до стабилизации. Число k выбирают…
Junior - 25Как LLM генерирует текст и что такое KV-кэш?
Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT)…
Middle - 26Как по кривым обучения понять, что модель переобучается или недообучается?
Кривые обучения — ошибка на обучении и валидации в зависимости от эпохи (для нейросетей и бустинга) или от размера обучающей выборки. Переобучение: ошибка на обучении падает, а на…
Junior - 27Какая математика нужна в машинном обучении и где она применяется?
Три опоры: линейная алгебра — данные это матрицы, модель — умножение матриц, эмбеддинги — векторы, сходство — скалярное произведение; математический анализ — градиент показывает…
Junior - 28Как работают линейная и логистическая регрессия?
Линейная регрессия предсказывает число как взвешенную сумму признаков, веса подбираются минимизацией среднеквадратичной ошибки. Логистическая регрессия — это классификация: ту же…
Junior - 29Спроектируйте ML-систему для предсказания оттока клиентов.
Порядок: бизнес-задача и действие (что сделаем с предсказанием — скидка, звонок; сколько это стоит) → постановка (что такое отток, горизонт, когда предсказываем) → данные и…
Senior - 30Какие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением?
С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру…
Junior - 31Как вести учёт ML-экспериментов, например в MLflow?
Трекинг экспериментов хранит для каждого запуска параметры, метрики (в том числе по эпохам), артефакты (модель, графики, отчёт), теги (коммит, версия данных) — и позволяет…
Middle - 32Что такое MLOps и как модель попадает в продакшен?
MLOps — практики, чтобы модели воспроизводимо обучались, проверялись, выкатывались и наблюдались. Цикл: данные → эксперименты (с трекингом параметров и метрик) → регистрация…
Middle - 33Что такое дрейф данных и концепта и как его отслеживать?
Data drift — меняется распределение входных признаков (пришли новые пользователи, изменился продукт). Concept drift — меняется сама зависимость «признаки → ответ» (мошенники…
Middle - 34Как внедрить ML-модель — пакетный расчёт или онлайн-сервис?
Пакетный расчёт (batch): по расписанию модель считает прогнозы для всех объектов и пишет их в таблицу (отток на завтра, рекомендации на сутки) — просто, дёшево, легко проверить…
Middle - 35Как устроена и обучается нейросеть — слои, функции активации, обратное распространение ошибки?
Нейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в…
Junior - 36Как решить задачу классификации текстов — классическим ML, дообучением BERT или LLM?
Три уровня, выбор — по объёму разметки, требованиям к качеству и стоимости: TF-IDF + линейная модель — быстрая и дешёвая базовая линия, хороша при тысячах размеченных примеров…
Middle - 37Как перенести код из Jupyter-ноутбука в рабочий проект?
Ноутбук хорош для исследования, но плох для работы: скрытое состояние (порядок ячеек), нет тестов, сложное ревью, параметры зашиты в код. Перенос: вынести логику в функции в…
Junior - 38Что такое переобучение модели и как с ним бороться?
Переобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.
Junior - 39Что такое PCA и зачем снижать размерность данных?
PCA находит новые оси — главные компоненты — вдоль которых данные изменяются сильнее всего, и проецирует данные на первые несколько из них. Применение: сжатие признаков, борьба с…
Middle - 40Как обучают чат-модели — предобучение, SFT, RLHF и DPO?
Три этапа. Предобучение — предсказание следующего токена на огромном корпусе: модель получает знания о языке и мире, но просто продолжает текст. SFT (supervised fine-tuning) …
Middle - 41Как написать цикл обучения в PyTorch с валидацией и сохранением лучшей модели?
Dataset отдаёт пример по индексу, DataLoader собирает батчи и перемешивает. Шаг обучения: optimizer.zero_grad() → прямой проход → loss → loss.backward() → optimizer.step()…
Middle - 42Что такое квантизация модели и чем приходится за неё платить?
Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode…
Middle - 43Как устроены рекомендательные системы?
Типичная схема двухэтапная: отбор кандидатов (сотни из миллионов — популярное, похожие товары, коллаборативная фильтрация, векторный поиск по эмбеддингам) и ранжирование…
Middle - 44Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²?
MAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя…
Junior - 45Что такое регуляризация и чем L1 отличается от L2?
Регуляризация добавляет к функции потерь штраф за большие веса, чтобы модель не подгонялась под шум. L2 (Ridge) — штраф за сумму квадратов: веса уменьшаются плавно, но не до нуля…
Middle - 46Как сделать ML-эксперимент воспроизводимым?
Результат зависит от кода, данных, параметров, окружения и случайности. Фиксировать: seed для всех генераторов (random, numpy, torch, параметр random_state в sklearn), версии…
Junior - 47Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?
ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный…
Middle - 48Что такое собственные векторы и SVD и как они связаны с PCA и рекомендациями?
Собственный вектор матрицы при умножении на неё только растягивается (в λ раз — собственное значение), не меняя направления. SVD раскладывает любую матрицу X = UΣVᵀ: Σ …
Middle - 49Как подойти к задаче прогнозирования временного ряда?
Начать с простого базового прогноза (вчерашнее значение, то же время неделю назад, скользящее среднее) — его нужно обыграть. Затем: статистические модели (ETS, ARIMA, Prophet) для…
Middle - 50Как работает токенизация в LLM и что такое BPE?
BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним…
Middle - 51Зачем делить данные на обучающую, валидационную и тестовую выборки?
Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.
Junior - 52Как дообучить предобученную модель (ResNet, BERT) на своей задаче?
Предобученная модель уже умеет извлекать общие признаки (края и формы для изображений, смысл слов для текста). Её берут как основу, заменяют выходной слой под свои классы и…
Middle
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.