Как работает технология аудиовизуализации на современных смартфонах?

Технология аудиовизуализации на современных смартфонах работает через функцию аудиозума. 15 Когда во время съёмки видео приближается конкретный источник звука, смартфон автоматически увеличивает его громкость, заглушая посторонний шум. 1 Это же происходит при смене кадра. 1 При отдалении от заданного объекта гаджет отключает шумоподавление и начинает фиксировать всё, что происходит вокруг. 1

Роль фундамента для аудиозума выполняет технология пространственной фильтрации. 1 Она даёт возможность изменить уровень громкости конкретных источников звука в зависимости от увеличения или уменьшения площади, которую они занимают в видоискателе смартфона. 1 Для этого используется гиперкардиоидный паттерн, который усиливает звук из того направления, куда направлена камера гаджета, и заглушает остальные объекты, расположенные вокруг. 1

Также в создании аудиовизуального контента на смартфонах используются сервисы на основе нейросетей, которые генерируют звуки из любых изображений. 2 Например, изображение птицы преобразуется в её пение, а снимок моря — в шум волн. 2