Как работает технология Whisper для распознавания голоса в ChatGPT?

Технология Whisper для распознавания голоса в ChatGPT работает по принципу кодер-декодер. 2

Входное аудио разбивается на 30-секундные фрагменты, которые преобразуются в кепструм малой частоты и подаются в кодировщик. 12

Декодер обучен предсказывать соответствующий текст, перемежающийся специальными токенами. 1 Они указывают модели выполнять такие задачи, как идентификация языка, временные метки на уровне фраз, многоязычная транскрипция речи и перевод речи на английский язык. 1

Whisper различает многие распространённые языки, включая английский, испанский, французский, немецкий, итальянский, португальский, голландский, русский, шведский, китайский, японский, корейский, арабский, украинский и другие. 3

Некоторые особенности технологии:

• Высокая устойчивость к акцентам, шумам и специальной лексике. 1
• Работает с аудио длиной до 30 секунд, для более длинных записей нужна буферизованная транскрипция. 1
• Качество сильно зависит от объёма обучающих данных для конкретного языка. 1