Вопрос с собеседования · Видео с ИИ-агентами

Как сделать субтитры, которые точно попадают в речь, и вшить их в ролик?

JuniorГолос, музыка и субтитры
Ещё спрашивают так:
  • Как агенту сделать субтитры к видео автоматически?
Коротко

Тайминги берут из самой дорожки, а текст — из сценария. Whisper распознаёт речь с метками времени, агент сверяет слова со сценарием и рисует субтитры в композиции.

  • Whisper — открытая модель распознавания, умеет метки времени по словам
  • Распознанный текст сверяют со сценарием: бренды и термины модель путает
  • Субтитры рисуются в композиции — фирменным шрифтом, с подсветкой слова

А ещё Для площадок с отдельными субтитрами — ещё и файл SRT

Подробно

Равномерно разбить сценарий по времени не получится: диктор ускоряется, делает паузы, а музыка вступает раньше. Субтитры «уплывут».

Рабочая схема:

  1. Готовая дорожка голоса — запись или синтез, уже в финальной длительности.
  2. Распознавание с таймингами. Whisper (открытая модель OpenAI, лицензия MIT) выдаёт текст с метками времени по фразам, а с опцией --word_timestamps True — и по словам. Есть ускоренные реализации, например faster-whisper.
  3. Сверка со сценарием. Модель ошибается в названиях брендов, терминах, числах. Агент заменяет распознанные слова на слова сценария, сохраняя тайминги.
  4. Отрисовка. В HyperFrames или Remotion субтитры становятся клипами со временем начала и длительностью — фирменным шрифтом, с подсветкой текущего слова. В HyperFrames для титров есть готовые skills и блоки.
  5. Файл SRT — если площадка принимает отдельные субтитры.

Для коротких вертикальных роликов — 1–4 слова на экране, крупно, в безопасной зоне, а не две строки внизу, как в кино.

Что хотят услышать

  • Тайминги из распознавания дорожки, текст из сценария.
  • Whisper с метками по словам, сверка брендов и чисел.
  • Субтитры в композиции и при необходимости SRT.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✓Распознать готовую дорожку голоса моделью вроде Whisper с таймингами слов, сверить текст со сценарием и отрисовать субтитры в композиции по этим таймингам
  • ✗Разбить текст сценария на равные куски по времени ролика
  • ✗Субтитры не нужны — все смотрят со звуком
  • ✗Попросить агента угадать, когда звучит каждое слово

Что спросят дальше

Связанные вопросы

Партнёр платформы

sotto — ассистент для живых разговоров

Помогает вести занятия, лекции и рабочие созвоны: на одном экране показывает подсказки по материалу, которые не видит аудитория, и помогает точнее отвечать на вопросы.

Узнать о sotto