Как работает технология NoLACE в мессенджерах для борьбы с фоновыми шумами?

Технология NoLACE (Nonlinear Adaptive Coding Enhancer) в мессенджерах, например в MAX, анализирует звук в реальном времени и восстанавливает недостающие фрагменты речи. www.iphones.ru max-app.info

В основе технологии лежит сочетание нейросетей и цифровой обработки сигналов (DSP). www.iphones.ru Есть два главных компонента NoLACE: www.iphones.ru

1. Кодировщик признаков. www.iphones.ru Собирает данные о звуке (спектр, высота тона, автокорреляция и так далее). www.iphones.ru Эти данные превращаются в компактный вектор признаков, который помогает алгоритму понимать, что именно человек говорит. www.iphones.ru
2. Модуль обработки сигналов. www.iphones.ru Включает адаптивные фильтры и модуль адаптивного временного формирования (AdaShape). www.iphones.ru Он с высокой точностью корректирует сигнал, регулируя громкость каждого отдельного семпла звука. www.iphones.ru

NoLACE особенно полезна там, где интернет нестабилен: в метро, ТЦ, жилых районах с плотной застройкой. www.iphones.ru

Кроме того, с помощью машинного обучения NoLACE может добавлять пропущенные обрывки слов при возникновении помех длительностью до одной секунды. hi-tech.mail.ru