Что такое собственные векторы и SVD и как они связаны с PCA и рекомендациями?
- Что такое сингулярное разложение?
- Как PCA связан с SVD?
Собственный вектор матрицы при умножении на неё только растягивается (в λ раз — собственное значение), не меняя направления. SVD раскладывает любую матрицу X = U·Σ·Vᵀ: Σ — сингулярные числа по убыванию, показывающие «важность» направлений. PCA — это SVD центрированных данных: главные компоненты — строки Vᵀ, доля объяснённой дисперсии — квадраты сингулярных чисел. В рекомендациях матрицу «пользователи × товары» приближают произведением низкого ранга — получают векторы вкусов пользователей и векторы свойств товаров.
- Оставив k первых сингулярных чисел, получают лучшее приближение ранга k
- Ковариационная матрица симметрична — её собственные векторы ортогональны
- В рекомендациях пропуски не нули — используют матричную факторизацию (ALS), а не чистый SVD
А ещё np.linalg.svd и sklearn TruncatedSVD для разреженных матриц
Подробно
Связь с PCA. Центрировать X, сделать SVD. Компоненты — правые сингулярные векторы, проекция данных — U·Σ. Дисперсия по компоненте i пропорциональна σᵢ².
Рекомендации. Матрица оценок R (пользователи × фильмы) приближается P·Qᵀ, где строка P — пользователь в k измерениях, строка Q — фильм. Скалярное произведение — предсказанная оценка. Скрытые измерения часто интерпретируемы: «боевик ↔ драма».
Сжатие. Изображение или эмбеддинги можно сжать, оставив первые k сингулярных компонент.
Что хотят услышать
- Определение собственного вектора и SVD.
- PCA через SVD, объяснённая дисперсия.
- Матричная факторизация в рекомендациях.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗SVD применим только к квадратным симметричным матрицам без пропусков
- ✓SVD — разложение U·Σ·Vᵀ; PCA — SVD центрированных данных
- ✗Собственный вектор меняет направление при умножении на матрицу
- ✗В рекомендациях пропущенные оценки корректно считать нулями
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.