Как работает технология NoLACE в современных мессенджерах?

Технология NoLACE (Nonlinear Adaptive Coding Enhancer) в современных мессенджерах, например в MAX от VK, работает на основе машинного обучения. www.gazeta.ru rutab.net Она улучшает качество голосовых звонков при нестабильном интернет-соединении. www.gazeta.ru rutab.net

Принцип работы: когда соединение плохое, передача аудиоданных может прерываться, а голос при этом искажается или вовсе обрывается. www.iphones.ru NoLACE устраняет эту проблему, анализируя звук в реальном времени и восстанавливая недостающие фрагменты речи. www.iphones.ru

В основе технологии лежит сочетание нейросетей и цифровой обработки сигналов (DSP). www.iphones.ru В NoLACE два главных компонента: www.iphones.ru

1. Кодировщик признаков. www.iphones.ru Он собирает данные о звуке (спектр, высота тона, автокорреляция и так далее). www.iphones.ru Всё это превращается в компактный вектор признаков, который помогает алгоритму понимать, что именно человек говорит. www.iphones.ru
2. Модуль обработки сигналов. www.iphones.ru Он включает адаптивные фильтры и модуль адаптивного временного формирования (AdaShape). www.iphones.ru Он с высокой точностью корректирует сигнал, регулируя громкость каждого отдельного семпла звука. www.iphones.ru

NoLACE работает в реальном времени, обрабатывая аудио в 20-миллисекундных фреймах, не внося задержек. www.iphones.ru

Система способна восполнять обрывы связи длительностью до 1 секунды, сохраняя при этом естественное звучание голоса. rutab.net