Для создания идеальной синхронизации губ в видеоиграх используются различные технологии, например:
- Процедурная анимация. 3 Специализированный софт конвертирует услышанные звуки в фонемы — минимальные различительные языковые единицы. 3 Затем на основе этих данных создаются blend shape или костные анимации, которые и определяют движение губ персонажей. 3
- Нейросети. 4 Например, в игре Cyberpunk 2077 для синхронизации речи и анимации губ персонажей использовалась нейросеть Jali. 4 Она анализирует сказанные слова, учитывая тон и любые другие мельчайшие подробности, и соответствующим образом подгоняет анимацию мимики и лица. 4
- Функция Lip Sync в модели генерации видео Runway AI. 5 Она синхронизирует речевой звук с движениями губ персонажей в соответствии с текстовым сценарием. 5