Российские ИИ-модели распознают речь вдвое точнее зарубежных
Об этом РИА Новости сообщили в MWS AI (входит в МТС Web Services) в преддверии форума «Цифровые решения».
«По результатам тестирования российские модели совершили вдвое меньше ошибок, чем зарубежные решения OpenAI и Nvidia, и продемонстрировали достаточную точность для применения в основных специализированных бизнес-сценариях в ключевых отраслях экономики России. Тестирование проводилось на более чем 12 тысячах размеченных аудиозаписей общей длительностью около 38 часов. Выборка включала речь без выраженных помех, а также записи с акустическим шумом и фоновой речью», рассказали в сервисе.
Нейросети сравнивали по WER (Word Error Rate). Этот показатель отражает количество ошибок при распознавании слов относительно числа слов в эталонной расшифровке.
По итогам тестирования средний WER для GigaAM от «Сбера» составил 7,4 %. Это около 7,4 ошибки на каждые 100 слов эталонной расшифровки. Результат более чем в два раза меньше, чем у Nvidia Parakeet с показателем 15,8 %, и более чем в три раза меньше, чем у Nvidia Nemotron с результатом 25,5 %.
На записях с акустическим шумом и фоновой речью разрыв более выражен. WER GigaAM составил 18 %, Nvidia Parakeet 33 %, а Whisper от OpenAI 62 %. На втором месте по точности оказалась другая российская разработка, Vosk от Alpha Cephei.