Как работает многоязычное распознавание речи в Whisper?

Многоязычное распознавание речи в Whisper работает благодаря предварительному обучению на большом количестве размеченных аудиоданных с транскрипцией. habr.com Модель может быть применена к более чем 96 языкам, многие из которых считаются малоресурсными. habr.com

Процесс работы Whisper включает несколько этапов: habr.com

1. Преобразование аудиовхода. habr.com Исходные аудиовходы преобразуются в логарифмическую спектрограмму Мела с помощью извлекателя признаков. habr.com
2. Кодирование спектрограммы. habr.com Трансформерный кодировщик кодирует спектрограмму, формируя последовательность скрытых состояний кодировщика. habr.com
3. Предсказание текстовых токенов. habr.com Декодер авторегрессивно предсказывает текстовые токены, основываясь как на предыдущих токенах, так и на скрытых состояниях кодировщика. habr.com

Whisper может обрабатывать аудиофайлы с смешанными языками с высокой точностью. labex.io Модель способна справляться с фоновым шумом, различными акцентами и техническим жаргоном. creati.ai