Как голосовому ассистенту обрабатывать перебивания, паузы и шум?
- Что такое barge-in?
- Как определить, что человек закончил говорить?
Конец фразы определяют детектором речи (VAD) и паузой, часто вместе с моделью конца реплики, которая по смыслу понимает, договорил ли человек («мой номер… семь, девять…» — не конец). Короткая пауза — ассистент перебивает, длинная — тормозит. Перебивание (barge-in): когда пользователь заговорил во время ответа, синтез немедленно останавливают, генерацию отменяют, а в истории фиксируют, какая часть ответа была произнесена. Шум и эхо гасят шумоподавлением и эхоподавлением, а короткие звуки («угу», кашель) не считают перебиванием.
- Эхоподавление обязательно: иначе ассистент слышит сам себя и перебивает себя
- Порог паузы подбирают по сценарию — для диктовки номеров длиннее
- Фразы-поддакивания не должны останавливать ответ
А ещё Метрики: доля ложных перебиваний, доля перебиваний пользователем, задержка ответа
Подробно
Конец реплики:
- VAD отмечает тишину;
- модель конца реплики оценивает, завершена ли мысль;
- адаптивный порог: после вопроса «назовите номер» ждать дольше.
Перебивание:
- Детектор речи сработал во время воспроизведения.
- Отфильтровать короткие звуки и эхо.
- Остановить воспроизведение и генерацию.
- Обрезать ответ в истории до произнесённого.
- Обработать новую фразу пользователя.
Шум: шумоподавление на клиенте, проверка уверенности распознавания, переспрос при низкой уверенности.
Что хотят услышать
- Определение конца фразы: VAD и модель конца реплики.
- Остановка ответа при перебивании и обрезка истории.
- Эхо, шум, поддакивания.
- Метрики.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Сразу остановить синтез и генерацию, в истории оставить сказанное
- ✗Дать ассистенту договорить фразу до конца, а речь пользователя в это время буферизовать и обработать после — так диалог не рвётся
- ✗Считать конец фразы по фиксированной паузе 2 секунды во всех сценариях
- ✗Эхоподавление не нужно — ассистент сам не реагирует на собственный голос
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.