Как распознавать речь и как измерять качество распознавания (WER)?
- Что такое WER?
- Как выбрать модель распознавания речи?
Распознавание (ASR) переводит аудио в текст: файл целиком (точнее, проще) или поток с промежуточными результатами (нужно для живого диалога). Варианты — облачные сервисы (Yandex SpeechKit, SaluteSpeech и зарубежные) и открытые модели (Whisper и его ускоренные версии). Качество меряют WER — доля ошибочных слов: (замены + удаления + вставки) / число слов эталона, — на своих записях с ручной расшифровкой.
- Перед подсчётом нормализуют текст: регистр, пунктуация, числа («5» и «пять»)
- WER зависит от условий: шум, акценты, телефонный канал 8 кГц, термины
- Для терминов и имён — подсказки словаря или дообучение
А ещё Важно не только WER: ошибки в ключевых словах (номера, суммы) дороже прочих
Подробно
Пример. Эталон: «оплатить заказ номер пять» (4 слова). Распознано: «оплатите заказ номер пять сегодня» — 1 замена и 1 вставка, WER = 2/4 = 50 %.
Выбор модели:
- собрать 1–2 часа своих записей в реальных условиях;
- расшифровать вручную;
- сравнить кандидатов по WER, задержке, стоимости часа, работе в потоке, размещению данных.
Поток. Потоковое распознавание отдаёт промежуточные гипотезы и финальный результат по фразе; для диалога важны и точность, и задержка финального результата.
Что хотят услышать
- Файловое и потоковое распознавание.
- Формула WER и нормализация.
- Оценка на своих записях.
- Ошибки в ключевых словах.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗WER берут из карточки модели у разработчика: он измерен на большом наборе и поэтому точнее, чем замер на нескольких своих записях
- ✓WER = (замены + удаления + вставки) / слов эталона, на своих записях
- ✗Для оценки достаточно WER из описания модели у разработчика
- ✗Потоковое распознавание всегда точнее распознавания файла целиком
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.