Как мультимодальные модели работают с изображениями и что это значит для стоимости?
- Как LLM видит картинку?
- Сколько токенов стоит изображение?
Изображение разрезается на фрагменты (патчи), которые визуальный энкодер превращает в векторы — визуальные токены; дальше модель обрабатывает их вместе с текстом. Поэтому картинка стоит токенов: чем выше разрешение, тем больше фрагментов и дороже запрос. Модели хорошо описывают изображения, читают текст и таблицы, но могут ошибаться в мелких деталях, точных числах и подсчёте объектов.
- Провайдеры уменьшают большие изображения; мелкий текст может стать нечитаемым
- Несколько страниц документа — несколько изображений, стоимость складывается
- Для точных чисел — сверка с OCR или валидация
А ещё Аудио и видео обрабатывают похоже: фрагменты превращаются в токены
Подробно
Устройство. Визуальный энкодер (часто вариант ViT) делит изображение на квадраты, кодирует каждый в вектор, проекция переводит векторы в пространство языковой модели. Модель «видит» изображение как последовательность токенов среди текста.
Практика:
- выбирать разрешение под задачу: описание сцены — низкое, чтение мелкого текста — высокое или нарезка на части;
- указывать в промпте, что именно искать на изображении;
- проверять ответы на размеченном наборе изображений.
Ограничения. Пространственные отношения, подсчёт множества объектов, мелкий шрифт, рукопись — типичные источники ошибок.
Что хотят услышать
- Патчи и визуальные токены.
- Связь разрешения и стоимости.
- Типичные ошибки и их проверка.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Изображение передаётся модели бесплатно, оплачивается только текст
- ✓Картинка режется на фрагменты-токены; выше разрешение — дороже
- ✗Модель сначала распознаёт картинку через OCR и работает только с текстом
- ✗Мультимодальные модели безошибочно считают объекты на фото
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.