Как устроен векторный поиск?

Задача — по вектору запроса вернуть k самых близких векторов документов.

• Точный поиск (kNN) — посчитать сходство со всеми векторами. Подходит для тысяч и десятков тысяч записей.
• Приближённый (ANN) — индекс позволяет проверить лишь часть векторов. Популярные подходы:
  • HNSW — многоуровневый граф ближайших соседей, быстрый поиск и хорошая полнота, но индекс занимает память;
  • IVF — векторы разбиты на кластеры, поиск идёт в нескольких ближайших;
  • квантизация (PQ) — сжатие векторов ради памяти. Параметры индекса — компромисс между скоростью, памятью и полнотой (recall).

Где хранить: pgvector — расширение PostgreSQL, удобно, если данные и так в Postgres; FAISS — библиотека для поиска в памяти; отдельные векторные базы — когда нужен масштаб, фильтрация и управление коллекциями.

Гибридный поиск. Эмбеддинги хорошо ловят смысл, но плохо — точные совпадения: номера, коды ошибок, редкие термины, имена. Полнотекстовый поиск (BM25) — наоборот. Результаты объединяют (например, reciprocal rank fusion) и часто доуточняют реранкером.

Фильтры по метаданным (раздел, дата, права доступа) применяют вместе с векторным поиском — иначе пользователь найдёт то, что ему видеть нельзя.