Что важно знать
- Коллаборативная фильтрация, разложение матриц, эмбеддинги.
- Ранжирование бустингом по признакам пары «пользователь — товар».
- Холодный старт и смещение популярности.
- Офлайн-метрики не заменяют A/B-тест.
Кандидаты и ранжирование, коллаборативная фильтрация, холодный старт, метрики.
Практика. Построить рекомендации фильмов на MovieLens — ALS для кандидатов и бустинг для ранжирования, сравнить NDCG@10 с популярным.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Типичная схема двухэтапная: отбор кандидатов (сотни из миллионов — популярное, похожие товары, коллаборативная фильтрация, векторный поиск по эмбеддингам) и ранжирование кандидатов моделью (часто бустинг) по признакам пользователя, товара и контекста…
Полный разборНужен набор «вопрос → нужные фрагменты». Recall@k — доля вопросов, для которых нужный фрагмент попал в первые k (главная метрика для RAG: не нашли — модель не ответит). MRR — среднее 1/позиция первого правильного фрагмента: показывает, насколько высоко он…
Полный разборВекторный поиск находит ближайшие векторы к вектору запроса; на больших объёмах используют приближённый поиск (ANN) с индексами вроде HNSW.
Полный разборЭмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.
Полный разборСобственный вектор матрицы при умножении на неё только растягивается (в λ раз — собственное значение), не меняя направления. SVD раскладывает любую матрицу X = UΣVᵀ: Σ — сингулярные числа по убыванию, показывающие «важность» направлений. PCA — это SVD…
Полный разборK-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных перемешивать нельзя: обучаются на прошлом, проверяются на будущем (скользящее…
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.