Как устроен синтез речи в голосовом ассистенте и что важно настроить?
- Что такое TTS?
- Как сделать, чтобы бот правильно читал числа?
TTS превращает текст в речь. Для диалога нужен потоковый синтез: текст подают по предложениям по мере генерации, и звук начинает играть до того, как модель закончила ответ. Качество зависит от подготовки текста: числа, даты, суммы, сокращения, адреса нужно нормализовать в слова («5 000 ₽» → «пять тысяч рублей»), ударения и произношение терминов — задать словарём или разметкой SSML. Голос выбирают под бренд и сценарий, проверяя на живых фразах.
- Метрики: время до первого звука, естественность (оценка слушателей), ошибки произношения
- Markdown, эмодзи и ссылки из ответа модели удаляют до синтеза
- Воспроизведение должно прерываться мгновенно при перебивании
А ещё Облачные сервисы (Yandex SpeechKit, SaluteSpeech) и открытые модели различаются качеством русского и стоимостью
Подробно
Нормализация текста:
- числа и суммы с учётом падежа: «2 заказа» — «два заказа»;
- даты и время: «12.10» — «двенадцатого октября»;
- телефоны и номера заказов — по группам цифр;
- сокращения и аббревиатуры по словарю.
Разметка SSML: паузы, ударения, скорость, произношение слова по буквам или фонемам — для мест, где модель синтеза ошибается.
Поток: разбивать ответ модели на предложения, синтезировать каждое и ставить в очередь воспроизведения; первое предложение лучше делать коротким.
Проверка: набор типичных ответов со сложными числами и терминами, прослушивание, список ошибок произношения.
Что хотят услышать
- Потоковый синтез по предложениям.
- Нормализация чисел, дат, сокращений.
- SSML и словари произношения.
- Метрики и прерывание при перебивании.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Синтез по предложениям потоково; числа и сокращения — заранее в слова
- ✗Отдавать на синтез ответ модели как есть, с markdown и цифрами
- ✗Ждать полный ответ модели — синтез одного длинного текста быстрее
- ✗Синтез не влияет на задержку ответа голосового ассистента
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.