RAG и векторный поиск
Эмбеддинги, векторные индексы, фрагментация документов, гибридный поиск и улучшение качества RAG.
- 01Что такое RAG и как он устроен?
RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.
Junior - 02Что такое эмбеддинги?
Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.
Junior - 03Как устроен векторный поиск?
Векторный поиск находит ближайшие векторы к вектору запроса; на больших объёмах используют приближённый поиск (ANN) с индексами вроде HNSW.
Middle - 04Что такое гибридный поиск и зачем совмещать BM25 с векторным поиском?
Векторный поиск хорошо ловит смысл и перефразирования, но промахивается на точных совпадениях: артикулы, коды ошибок, имена, редкие термины. BM25 (лексический поиск) — наоборот…
Middle - 05Как разбивать документы на фрагменты для RAG?
Фрагмент должен быть самодостаточным по смыслу и достаточно коротким, чтобы точно находиться поиском; режут по структуре документа, а не по символам.
Middle - 06Что такое реранкер и чем cross-encoder отличается от bi-encoder?
Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и…
Middle - 07Как улучшить качество RAG, если он отвечает плохо?
Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.
Middle - 08Зачем RAG, если у моделей контекст на сотни тысяч токенов?
Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the…
Middle - 09Когда использовать RAG, а когда дообучение модели?
RAG — когда нужны знания (факты, документы, свежие данные); дообучение — когда нужно поведение (формат, стиль, навык, предметный язык).
Middle - 10Что такое галлюцинации LLM и как с ними бороться?
Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.
Junior - 11Как оценивать качество ответов LLM?
Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.
Middle - 12Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки?
Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного…
Middle
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.