Как работает технология восстановления пропущенных фрагментов речи в групповых видеозвонках?

Возможно, имелась в виду технология NoLACE, которая восстанавливает пропущенные фрагменты речи в голосовых звонках, в том числе групповых видеозвонках, при нестабильном интернет-соединении. rutab.net xn--80aakdatfmqiqnw.xn--p1ai

В основе NoLACE лежит сочетание нейросетей и цифровой обработки сигналов (DSP). www.iphones.ru Технология включает два главных компонента: www.iphones.ru

1. Кодировщик признаков. www.iphones.ru Собирает данные о звуке (спектр, высота тона, автокорреляция и так далее). www.iphones.ru Эти данные превращаются в компактный вектор признаков, который помогает алгоритму понимать, что именно человек говорит. www.iphones.ru
2. Модуль обработки сигналов. www.iphones.ru Включает адаптивные фильтры и модуль адаптивного временного формирования (AdaShape). www.iphones.ru Он с высокой точностью корректирует сигнал, регулируя громкость каждого отдельного семпла звука. www.iphones.ru

AdaShape работает с временной огибающей сигнала. www.iphones.ru Эти значения переводятся в логарифмическую шкалу, а затем двухслойная свёрточная нейросеть рассчитывает, как именно усилить каждый звук. www.iphones.ru В результате даже при паузах до секунды речь восстанавливается естественно. www.iphones.ru

NoLACE работает в реальном времени, обрабатывая аудио в 20-миллисекундных фреймах, не внося задержек. www.iphones.ru