Вопрос с собеседования · AI и LLM

Как выбрать модель эмбеддингов для поиска по русскоязычным документам?

MiddleЭмбеддинги и векторный поиск
Ещё спрашивают так:
  • Какую модель эмбеддингов взять для RAG?
  • Что такое MTEB?
Коротко

Начать с публичных рейтингов (MTEB и его русскоязычная часть) для короткого списка кандидатов, а решать замером на своих данных: набор пар «вопрос → нужный фрагмент», метрики recall@k и MRR. Учитывать размерность (память индекса), максимальную длину входа, скорость и стоимость, возможность развернуть у себя и требования модели к префиксам запроса и документа.

  • Многоязычные модели (например, семейства e5, bge-m3) часто хорошо работают на русском
  • Смена модели эмбеддингов требует переиндексации всех документов
  • Некоторые модели требуют префиксов «query:» и «passage:» — без них качество падает

А ещё Дообучение эмбеддингов на своих парах может дать заметный прирост в узкой области

Подробно

Процедура:

  1. Собрать 100–300 реальных вопросов и отметить нужные фрагменты.
  2. Выбрать 3–5 кандидатов по рейтингам и требованиям (лицензия, размещение, язык).
  3. Проиндексировать документы каждой моделью.
  4. Посчитать recall@5, recall@20, MRR.
  5. Сравнить с затратами: размер индекса, скорость кодирования.

Детали:

  • длина входа: длинные фрагменты обрезаются молча;
  • размерность: 1024 против 384 — разница в памяти индекса в разы; некоторые модели позволяют укоротить вектор;
  • нормализация векторов для косинусного сходства.

Что хотят услышать

  • Рейтинги как отправная точка, решение — на своём наборе.
  • Метрики поиска.
  • Размерность, длина входа, стоимость, размещение.
  • Переиндексация при смене модели.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✗Взять модель с максимальной размерностью вектора из топа общего рейтинга: своя проверка не нужна, а сменить её потом можно без переиндексации
  • ✓Короткий список по рейтингам, решение — замером на своём наборе
  • ✗Выбирать модель с максимальной размерностью вектора — она всегда лучше
  • ✗Модель эмбеддингов можно сменить в любой момент без переиндексации документов

Связанные вопросы

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования