Как извлекать данные из сканов и PDF — мультимодальная модель или OCR-конвейер?
- Как распознать счёт или договор с помощью LLM?
- Чем мультимодальная модель лучше OCR?
OCR-конвейер: распознать текст (с координатами), затем извлечь поля правилами или моделью по тексту — дёшево и предсказуемо, но ломается на сложной вёрстке, таблицах, печатях и рукописи. Мультимодальная модель получает изображение страницы и схему ответа и сразу возвращает поля — устойчивее к вёрстке, но дороже, медленнее и может «додумать» значение. Выбирают замером на своём наборе документов: точность по полям, стоимость и время на страницу.
- Часто комбинируют: OCR-текст плюс изображение страницы в одном запросе
- Обязательна валидация: суммы сходятся, ИНН проходит контрольную сумму, даты корректны
- Неуверенные документы — на проверку человеку
А ещё Изображение высокого разрешения стоит много токенов — страницы режут или уменьшают разумно
Подробно
Конвейер с OCR:
- распознавание (Tesseract, облачные OCR) с координатами блоков;
- разметка структуры: таблицы, заголовки;
- извлечение полей правилами или LLM по тексту.
Мультимодальная модель:
- изображение страницы + JSON-схема полей;
- понимает таблицы и расположение;
- риск: уверенно выдаёт значение, которого нет на странице.
Оценка. Набор из сотен реальных документов с размеченными полями; метрики — точность и полнота по каждому полю, доля документов, прошедших без исправлений, стоимость страницы.
Валидация. Бизнес-правила ловят часть ошибок: сумма строк равна итогу, контрольные суммы реквизитов, формат дат.
Что хотят услышать
- Сравнение OCR-конвейера и мультимодальной модели.
- Схема ответа и валидация бизнес-правилами.
- Оценка по полям на своём наборе.
- Человек в контуре для неуверенных случаев.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Мультимодальная модель никогда не ошибается в цифрах, валидация не нужна
- ✗Взять мультимодальную модель: она читает изображение страницы целиком и не ошибается в цифрах, поэтому валидация и сравнение с OCR не нужны
- ✗Достаточно проверить на трёх красивых документах
- ✓Сравнить оба подхода на своих документах и валидировать правилами
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.