Как работает технология NoLACE в мессенджерах для улучшения качества голосовых звонков?

Технология NoLACE (Nonlinear Adaptive Coding Enhancer) улучшает качество голосовых звонков при нестабильном интернет-соединении. dzen.ru rutab.net Она устраняет искажения звука, подавляет фоновые шумы и автоматически восстанавливает пропущенные фрагменты речи. rutab.net

В основе NoLACE лежит сочетание нейросетей и цифровой обработки сигналов. www.iphones.ru Технология состоит из двух главных компонентов: www.iphones.ru

1. Кодировщик признаков. www.iphones.ru Собирает данные о звуке (спектр, высота тона, автокорреляция и так далее). www.iphones.ru Эти данные превращаются в компактный вектор признаков, который помогает алгоритму понимать, что именно человек говорит. www.iphones.ru
2. Модуль обработки сигналов. www.iphones.ru Включает адаптивные фильтры и модуль адаптивного временного формирования (AdaShape). www.iphones.ru Он с высокой точностью корректирует сигнал, регулируя громкость каждого отдельного семпла звука. www.iphones.ru

Модель NoLACE обучалась на 165 часах чистой речи на 34 языках, чтобы различать акценты, интонации и другие нюансы. www.iphones.ru

NoLACE работает в реальном времени, обрабатывая аудио в 20-миллисекундных фреймах, не внося задержек. www.iphones.ru

Благодаря NoLACE собеседник слышит чётко, даже если связь на секунду пропала или стала хуже. www.kommersant.ru