Что такое реранкер и чем cross-encoder отличается от bi-encoder?
- Зачем в RAG второй этап ранжирования?
Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и документ вместе в модель и выдаёт оценку релевантности — точнее, но дорого. Отсюда двухэтапная схема: быстро отобрать 50–100 кандидатов, затем переранжировать их реранкером и отдать в LLM лучшие 5–10.
- Реранкер заметно повышает качество RAG при небольшой добавке задержки
- Cross-encoder нельзя применить ко всей базе — слишком дорого
- Готовые реранкеры: открытые модели семейства bge-reranker и коммерческие API
А ещё Реранкинг также сокращает контекст — меньше токенов и меньше «шума» для LLM
Подробно
Почему bi-encoder неточен. Весь смысл документа сжимается в один вектор до того, как известен запрос. Тонкие соответствия (отрицания, конкретные условия) теряются.
Cross-encoder видит запрос и документ одновременно, внимание работает между их токенами, поэтому оценка релевантности намного точнее. Но вычислять её нужно для каждой пары — для миллиона документов на каждый запрос это невозможно.
Схема retrieve → rerank:
- Поиск кандидатов: векторный, BM25 или гибридный — top-100.
- Реранкер оценивает каждую пару (запрос, кандидат).
- В промпт идут top-5…10 после реранкинга.
Компромиссы: задержка реранкера растёт с числом кандидатов; оптимум подбирают на оценочном наборе (recall@k на первом этапе и качество ответов на втором). Альтернатива — late interaction (ColBERT): векторы для каждого токена, точнее bi-encoder и дешевле cross-encoder.
Что хотят услышать
- Различие bi- и cross-encoder.
- Двухэтапная схема поиска.
- Компромисс точности и задержки.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Cross-encoder кодирует документы заранее и поэтому быстрее bi-encoder
- ✓Bi-encoder кодирует по отдельности, cross-encoder — пару, точнее
- ✗Реранкер заменяет первый этап поиска по всей базе
- ✗Bi-encoder и cross-encoder дают одинаковую точность при разной цене
Разбор темы
- RAG — ответы по своим документам
Как модель отвечает по документам компании — эмбеддинги, разбиение на фрагменты, векторный и гибридный поиск, реранкинг.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.