Чем поиск по смыслу отличается от поиска по ключевым словам?
- Что такое семантический поиск?
- Чем векторный поиск лучше полнотекстового?
Поиск по ключевым словам (полнотекстовый, BM25) находит документы, где встречаются слова запроса (с учётом форм слов): точен на кодах, артикулах, именах, но не находит перефразирование («не приходит смс» против «нет кода подтверждения»). Поиск по смыслу (векторный) сравнивает эмбеддинги запроса и документов и находит близкие по смыслу тексты даже без общих слов, но может промахнуться на точных терминах и номерах. Поэтому в RAG их часто совмещают.
- Полнотекстовый поиск: индекс слов, ранжирование по частоте и редкости слов
- Векторный: индекс эмбеддингов, ближайшие по косинусному сходству
- Гибридный поиск объединяет оба списка результатов
А ещё Пример слабости векторного поиска: запрос «ошибка E-1042» находит другие ошибки, похожие по смыслу
Подробно
Пример. База знаний банка, запрос «не приходит смс с кодом».
- BM25 найдёт статьи, где есть слова «смс» и «код», но пропустит статью «Нет уведомлений для подтверждения операций».
- Векторный поиск найдёт обе по смыслу.
Запрос «тариф Р-15»:
- BM25 найдёт точный тариф;
- векторный может вернуть похожие тарифы с другими номерами.
Вывод: для пользовательских вопросов нужен смысл, для кодов и названий — точное совпадение; гибридный поиск даёт и то и другое.
Что хотят услышать
- Принцип работы обоих видов поиска.
- Сильные и слабые стороны каждого.
- Зачем их совмещают.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Ключевые слова точны на кодах, смысл ловит перефразирования
- ✗Векторный поиск всегда точнее находит артикулы и номера
- ✗Полнотекстовый поиск находит перефразирования без общих слов
- ✗Это одно и то же, разница только в скорости работы
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.