Современные модели принимают изображения и документы, а отдельные модели распознают и синтезируют речь.
| задача | инструменты |
|---|---|
| распознавание документов и сканов | мультимодальные LLM, OCR |
| вопросы по изображениям, скриншотам, графикам | мультимодальные LLM |
| распознавание речи | Whisper и его ускоренные версии, облачные ASR |
| синтез речи | облачные и открытые TTS-модели |
| голосовые ассистенты в реальном времени | realtime API, связка ASR + LLM + TTS |
Что важно знать
- Изображение стоит токенов — сотни и тысячи на картинку, в зависимости от разрешения.
- Извлечение данных из документов — часто выгоднее мультимодальной моделью, чем цепочкой OCR и правил.
- Голосовые системы чувствительны к задержке: каждое звено конвейера должно работать потоково.