Технология Whisper в современных голосовых помощниках работает следующим образом: она позволяет распознавать и транскрибировать голосовые сообщения, что помогает удобно взаимодействовать с помощником с помощью голоса. 2

Принцип работы заключается в том, что входной звук разбивается на 30-секундные фрагменты, преобразуется в спектрограмму log-Mel, а затем передаётся в кодировщик. 3 Декодер обучен предсказывать соответствующий текстовый заголовок, смешанный со специальными токенами, которые направляют единую модель для выполнения таких задач, как идентификация языка, временные метки на уровне фраз, транскрипция многоязычной речи и перевод речи на английский язык. 3

Некоторые преимущества использования Whisper в голосовых помощниках: способность обрабатывать многоязычную речь и удалять фоновый шум может улучшить производительность помощников, делая их более эффективными и отзывчивыми в различных условиях. 1