Что такое PCA и зачем снижать размерность данных?
- Чем PCA отличается от t-SNE и UMAP?
PCA находит новые оси — главные компоненты — вдоль которых данные изменяются сильнее всего, и проецирует данные на первые несколько из них. Применение: сжатие признаков, борьба с мультиколлинеарностью, ускорение моделей, визуализация. Это линейный метод; для визуализации сложной структуры используют нелинейные t-SNE и UMAP, которые сохраняют соседство точек, но искажают расстояния.
- Перед PCA признаки стандартизируют, иначе доминируют признаки с большим масштабом
- Число компонент выбирают по доле объяснённой дисперсии (например, 95%)
- Компоненты трудно интерпретировать — это смеси исходных признаков
А ещё На графике t-SNE размер и расстояние между кластерами почти ничего не значат
Подробно
Как работает PCA: центрировать данные → найти собственные векторы матрицы ковариации (или SVD) → упорядочить по собственным значениям → взять первые k.
Сравнение:
| метод | тип | для чего |
|---|---|---|
| PCA | линейный | сжатие признаков, предобработка |
| t-SNE | нелинейный | визуализация локальной структуры |
| UMAP | нелинейный | визуализация, быстрее t-SNE, лучше глобальная структура |
Проклятие размерности: в многомерном пространстве расстояния становятся похожими, методы на расстояниях (kNN, k-means) работают хуже.
Что хотят услышать
- Идея главных компонент и дисперсии.
- Стандартизация и выбор числа компонент.
- Отличие PCA от t-SNE и UMAP.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Проекция на оси наибольшей изменчивости; признаки стандартизируют
- ✗PCA — нелинейный метод, который сохраняет соседство точек
- ✗Стандартизация перед PCA не нужна
- ✗t-SNE точно сохраняет расстояния между кластерами
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.