Что важно знать
- k-means: центры, масштабирование признаков, метод локтя и силуэт.
- DBSCAN — кластеры произвольной формы и шум.
- PCA сжимает признаки, t-SNE и UMAP — для визуализации.
- Аномалии: Isolation Forest, отклонение от нормы.
Этап 7 из 14 · ≈ 6 ч
Обучение без учителя
Основа с Junior
Кластеризация, снижение размерности и поиск аномалий.
Критерии освоения
Junior ≈ 6 ч
- Кластеризует данные k-means и выбирает число кластеров
Практика. Сегментировать клиентов k-means по поведенческим признакам и описать сегменты для бизнеса.
Middle ≈ 8 ч
- Применяет PCA и UMAP и объясняет ограничения визуализации
- Ищет аномалии с разметкой и без неё
Практика. Найти аномальные транзакции Isolation Forest и сравнить с моделью на размеченных данных по PR-AUC.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеКак работает k-means и как выбрать число кластеров?Junior
K-means итеративно: расставить k центров, отнести каждую точку к ближайшему центру, пересчитать центры как средние своих точек — повторять до стабилизации. Число k выбирают методом локтя, силуэтом и, главное, по смыслу задачи.
Полный разборЧто такое PCA и зачем снижать размерность данных?Middle
PCA находит новые оси — главные компоненты — вдоль которых данные изменяются сильнее всего, и проецирует данные на первые несколько из них. Применение: сжатие признаков, борьба с мультиколлинеарностью, ускорение моделей, визуализация. Это линейный метод; для…
Полный разборКак искать аномалии в данных, например мошеннические транзакции?Middle
Если есть размеченные случаи — это классификация с сильным дисбалансом: бустинг, метрики PR-AUC и полнота при заданной доле ложных тревог, порог по стоимости ошибок. Если разметки нет — обучение без учителя: статистические правила (отклонение от нормы…
Полный разборКак найти похожие тексты по эмбеддингам — что такое косинусное сходство?Junior
Косинусное сходство — косинус угла между векторами: 1 — направлены одинаково (тексты близки по смыслу), около 0 — не связаны. Считается как скалярное произведение, делённое на произведение длин; для нормализованных векторов (длина 1) это просто скалярное…
Полный разборЗачем масштабировать признаки и как кодировать категориальные признаки?Junior
Масштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не нужно. Категории кодируют one-hot (столбец на значение — для небольшого числа…
Полный разборКакие бывают задачи машинного обучения — обучение с учителем, без учителя, с подкреплением?Junior
С учителем — есть правильные ответы (метки): классификация (предсказать класс — спам/не спам) и регрессия (предсказать число — цену). Без учителя — меток нет, ищем структуру: кластеризация, понижение размерности, поиск аномалий. С подкреплением — агент учится…
Полный разбор
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.