Вопрос с собеседования · Видео с ИИ-агентами
Как сделать субтитры, которые точно попадают в речь, и вшить их в ролик?
JuniorГолос, музыка и субтитры
Ещё спрашивают так:
- Как агенту сделать субтитры к видео автоматически?
Коротко
Тайминги берут из самой дорожки, а текст — из сценария. Whisper распознаёт речь с метками времени, агент сверяет слова со сценарием и рисует субтитры в композиции.
- Whisper — открытая модель распознавания, умеет метки времени по словам
- Распознанный текст сверяют со сценарием: бренды и термины модель путает
- Субтитры рисуются в композиции — фирменным шрифтом, с подсветкой слова
А ещё Для площадок с отдельными субтитрами — ещё и файл SRT
Подробно
Равномерно разбить сценарий по времени не получится: диктор ускоряется, делает паузы, а музыка вступает раньше. Субтитры «уплывут».
Рабочая схема:
- Готовая дорожка голоса — запись или синтез, уже в финальной длительности.
- Распознавание с таймингами. Whisper (открытая модель OpenAI, лицензия MIT) выдаёт текст с метками времени по фразам, а с опцией
--word_timestamps True— и по словам. Есть ускоренные реализации, например faster-whisper. - Сверка со сценарием. Модель ошибается в названиях брендов, терминах, числах. Агент заменяет распознанные слова на слова сценария, сохраняя тайминги.
- Отрисовка. В HyperFrames или Remotion субтитры становятся клипами со временем начала и длительностью — фирменным шрифтом, с подсветкой текущего слова. В HyperFrames для титров есть готовые skills и блоки.
- Файл SRT — если площадка принимает отдельные субтитры.
Для коротких вертикальных роликов — 1–4 слова на экране, крупно, в безопасной зоне, а не две строки внизу, как в кино.
Что хотят услышать
- Тайминги из распознавания дорожки, текст из сценария.
- Whisper с метками по словам, сверка брендов и чисел.
- Субтитры в композиции и при необходимости SRT.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Распознать готовую дорожку голоса моделью вроде Whisper с таймингами слов, сверить текст со сценарием и отрисовать субтитры в композиции по этим таймингам
- ✗Разбить текст сценария на равные куски по времени ролика
- ✗Субтитры не нужны — все смотрят со звуком
- ✗Попросить агента угадать, когда звучит каждое слово
Что спросят дальше
Связанные вопросы
Партнёр платформы
Узнать о sotto
sotto — ассистент для живых разговоров
Помогает вести занятия, лекции и рабочие созвоны: на одном экране показывает подсказки по материалу, которые не видит аудитория, и помогает точнее отвечать на вопросы.