Этап 9 из 18 · ≈ 8 ч

Подготовка данных и разбиение на фрагменты

Основа с Junior

Извлечение текста из документов, очистка, чанкинг и метаданные.

Качество RAG определяется на этапе индексации: модель не ответит по фрагменту, который потерял смысл при разбиении или вообще не извлёкся из PDF.

Что важно знать

  • Извлечение: PDF, сканы, таблицы, презентации — отдельная задача; таблицы и структура часто теряются.
  • Разбиение: по структуре документа (заголовки, абзацы) лучше, чем по фиксированному числу символов; перекрытие соседних фрагментов.
  • Размер фрагмента — компромисс: маленький точнее находится, но теряет контекст; большой наоборот. Подбирают на своих данных.
  • Метаданные: источник, раздел, дата, права доступа — для фильтров и ссылок в ответе.
  • Контекст фрагмента: заголовок документа и раздела в тексте фрагмента заметно улучшает поиск.
  • Обновления: инкрементальная переиндексация изменённых документов.

Критерии освоения

Junior ≈ 8 ч

  • Извлекает текст из PDF и HTML, разбивает на фрагменты с перекрытием и сохраняет метаданные

Практика. Проиндексировать 50 документов разного формата и вручную проверить 20 случайных фрагментов на потерю смысла.

Middle ≈ 8 ч

  • Разбивает документы по структуре и добавляет к фрагментам контекст заголовков
  • Подбирает размер фрагмента по метрикам поиска на своих данных
  • Настраивает инкрементальную переиндексацию изменённых документов

Практика. Сравнить 3 стратегии разбиения по recall@5 на наборе из 100 вопросов и выбрать лучшую.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как разбивать документы на фрагменты для RAG?Middle

Фрагмент должен быть самодостаточным по смыслу и достаточно коротким, чтобы точно находиться поиском; режут по структуре документа, а не по символам.

Полный разбор
Как подготовить документы PDF и HTML для RAG?Junior

Извлечь текст со структурой: заголовки, списки, таблицы — для HTML это разметка, для PDF — библиотеки разбора (pypdf, pdfplumber, unstructured, docling) или OCR для сканов. Убрать мусор: меню, колонтитулы, номера страниц, повторяющиеся блоки. Разбить на…

Полный разбор
Как поддерживать индекс RAG в актуальном состоянии при изменении документов?Middle

Хранить для каждого документа идентификатор источника, версию или хеш содержимого и список его фрагментов. При синхронизации: новые документы проиндексировать, изменённые (хеш другой) — удалить старые фрагменты и записать новые, удалённые — убрать все их…

Полный разбор
Что такое RAG и как он устроен?Junior

RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.

Полный разбор
Что такое эмбеддинги?Junior

Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.

Полный разбор
Как найти похожие тексты по эмбеддингам — что такое косинусное сходство?Junior

Косинусное сходство — косинус угла между векторами: 1 — направлены одинаково (тексты близки по смыслу), около 0 — не связаны. Считается как скалярное произведение, делённое на произведение длин; для нормализованных векторов (длина 1) это просто скалярное…

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования