Этап 16 из 18 · ≈ 8 ч

Документы и изображения

Полезно знать с Middle

Извлечение данных из сканов, PDF, таблиц и изображений мультимодальными моделями.

Мультимодальные модели принимают изображения и страницы документов и отвечают на вопросы по ним или извлекают данные в заданном формате.

Что важно знать

  • Извлечение реквизитов, таблиц, данных из форм — со структурированным выводом и проверкой полей.
  • Разрешение изображения определяет и качество, и число токенов.
  • Для массовых однотипных документов классический OCR с правилами бывает дешевле; для разнородных — мультимодальная модель проще.
  • Точность измеряют по полям, отдельно для сканов плохого качества.

Критерии освоения

Middle ≈ 8 ч

  • Извлекает структурированные данные из сканов и PDF мультимодальной моделью со схемой ответа
  • Сравнивает качество и стоимость с OCR-конвейером на своём наборе документов

Практика. Извлечь реквизиты из 30 разных счетов (скан и PDF) в JSON, измерить точность по полям и стоимость на документ.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как извлекать данные из сканов и PDF — мультимодальная модель или OCR-конвейер?Middle

OCR-конвейер: распознать текст (с координатами), затем извлечь поля правилами или моделью по тексту — дёшево и предсказуемо, но ломается на сложной вёрстке, таблицах, печатях и рукописи. Мультимодальная модель получает изображение страницы и схему ответа и…

Полный разбор
Как мультимодальные модели работают с изображениями и что это значит для стоимости?Middle

Изображение разрезается на фрагменты (патчи), которые визуальный энкодер превращает в векторы — визуальные токены; дальше модель обрабатывает их вместе с текстом. Поэтому картинка стоит токенов: чем выше разрешение, тем больше фрагментов и дороже запрос…

Полный разбор
Как получить от LLM ответ в строгом формате, например JSON?Middle

Используйте режим структурированного вывода по JSON-схеме, если API его поддерживает, и всегда валидируйте результат в коде.

Полный разбор
Как подготовить документы PDF и HTML для RAG?Junior

Извлечь текст со структурой: заголовки, списки, таблицы — для HTML это разметка, для PDF — библиотеки разбора (pypdf, pdfplumber, unstructured, docling) или OCR для сканов. Убрать мусор: меню, колонтитулы, номера страниц, повторяющиеся блоки. Разбить на…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования