Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском?
- Почему векторный поиск не находит артикул или код ошибки?
- Что такое Reciprocal Rank Fusion?
Векторный поиск хорошо ловит смысл и перефразирования, но промахивается на точных совпадениях: артикулы, коды ошибок, имена, редкие термины. BM25 (лексический поиск) — наоборот. Гибридный поиск выполняет оба и объединяет списки — обычно через Reciprocal Rank Fusion (сумма 1/(k + ранг)).
- RRF не требует нормализации разнородных оценок — работает по позициям
- Альтернатива — взвешенная сумма нормированных оценок, вес подбирают на оценочном наборе
- Elasticsearch, OpenSearch, Qdrant, Weaviate, PostgreSQL (pgvector + полнотекстовый поиск) умеют гибрид
А ещё После гибрида обычно ставят реранкер
Подробно
Почему одного вектора мало. Эмбеддинг «ошибка ORA-00942» похож на эмбеддинги любых сообщений об ошибках Oracle; нужный документ с этим кодом может не попасть в top-10. BM25 найдёт его по точному совпадению редкого токена. Зато BM25 не найдёт «как вернуть деньги» по документу «процедура возврата средств».
Reciprocal Rank Fusion:
score(doc) = Σ по спискам 1 / (k + rank_в_списке) # k ≈ 60Документ, высоко стоящий в обоих списках, поднимается наверх. Оценки BM25 и косинусной близости при этом сравнивать не нужно — они в разных шкалах.
Практика:
- для русского — правильный анализатор (морфология) в лексической части;
- фильтры по метаданным (дата, тип документа, права доступа) применяются до или вместе с поиском;
- качество измеряют recall@k на наборе запросов с известными правильными документами.
Что хотят услышать
- Сильные и слабые стороны лексического и векторного поиска.
- Как объединить результаты, RRF.
- Где это реализовано и как оценивать.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Векторный поиск лучше BM25 во всём, включая артикулы и коды ошибок
- ✓Вектор ловит смысл, BM25 — точные совпадения; списки сливают, например RRF
- ✗Гибридный поиск — это векторный поиск по двум разным моделям эмбеддингов сразу
- ✗RRF требует нормализации оценок обоих поисков к одной общей шкале перед слиянием
Разбор темы
- RAG — ответы по своим документам
Как модель отвечает по документам компании — эмбеддинги, разбиение на фрагменты, векторный и гибридный поиск, реранкинг.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.