Как работает система синхронизации губ в современных компьютерных играх?

Система синхронизации губ в современных компьютерных играх работает на основе анализа звука и генерации анимации губ персонажа в соответствии с ним. docs.georgy.dev dzen.ru

Один из примеров — технология Translation Language Evaluation Device от Sony. stopgame.ru Система анализирует движения губ персонажа и вычисляет «индекс схожести» с переводом. stopgame.ru На основе этих данных автоматически корректируется анимация, чтобы она соответствовала диалогам на любом языке. stopgame.ru Например, если перевод затягивает или укорачивает фразу, движок сам подстраивает тайминги и движение губ, сохраняя естественность. stopgame.ru

Ещё один пример — технология Audio2Face от NVIDIA. overclockers.ru Инструмент предназначен для синхронизации анимации лиц и губ со звуком в реальном времени. overclockers.ru Анализируя фонемы, интонацию и эмоциональный тон, Audio2Face генерирует потоки данных, которые можно применять к 3D-моделям персонажей, делая их более выразительными и реалистичными. overclockers.ru

Кроме того, есть плагин Runtime MetaHuman Lip Sync, который позволяет анимировать губы персонажа в ответ на аудиовход из различных источников. docs.georgy.dev Плагин работает напрямую с аудиоданными, а не с текстом, поэтому поддерживает многоязычный ввод. docs.georgy.dev