Этап 8 из 18 · ≈ 8 ч

Гибридный поиск и реранкинг

Основа с Middle

Сочетание векторного и полнотекстового поиска и уточнение порядка реранкером.

Векторный поиск хорошо ловит смысл, но промахивается на точных совпадениях: артикулы, коды ошибок, фамилии, редкие термины. Классический поиск по словам (BM25) — наоборот. Гибридный поиск объединяет оба списка, например методом взаимного ранга (RRF).

Реранкер (cross-encoder) смотрит на пару «запрос — фрагмент» целиком и оценивает релевантность точнее, чем сравнение готовых векторов. Он медленнее, поэтому схема двухэтапная: быстро найти 50–100 кандидатов, реранкером выбрать лучшие 5–10.

Что важно знать

  • Bi-encoder (эмбеддинги) — быстро, векторы считаются заранее; cross-encoder — точно, но на каждый запрос.
  • Переформулирование запроса моделью (rewrite, разбиение на подвопросы) — ещё один способ улучшить поиск.
  • Качество поиска измеряют отдельно от ответа: recall@k, MRR, nDCG на наборе запросов с известными правильными документами.

Критерии освоения

Middle ≈ 8 ч

  • Объединяет векторный и полнотекстовый поиск методом взаимного ранга
  • Добавляет реранкер и измеряет прирост recall и MRR
  • Объясняет разницу bi-encoder и cross-encoder и их стоимость

Практика. Добавить к векторному поиску BM25 и реранкер, на наборе из 100 запросов показать изменение recall@5 и задержки на каждом шаге.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском?Middle

Векторный поиск хорошо ловит смысл и перефразирования, но промахивается на точных совпадениях: артикулы, коды ошибок, имена, редкие термины. BM25 (лексический поиск) — наоборот. Гибридный поиск выполняет оба и объединяет списки — обычно через Reciprocal Rank…

Полный разбор
Что такое реранкер и чем cross-encoder отличается от bi-encoder?Middle

Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и документ вместе в модель и выдаёт оценку релевантности — точнее, но дорого. Отсюда…

Полный разбор
Какие метрики используют для оценки поиска в RAG — recall@k, MRR, nDCG?Middle

Нужен набор «вопрос → нужные фрагменты». Recall@k — доля вопросов, для которых нужный фрагмент попал в первые k (главная метрика для RAG: не нашли — модель не ответит). MRR — среднее 1/позиция первого правильного фрагмента: показывает, насколько высоко он…

Полный разбор
Как устроен векторный поиск?Middle

Векторный поиск находит ближайшие векторы к вектору запроса; на больших объёмах используют приближённый поиск (ANN) с индексами вроде HNSW.

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования