Как работает технология живых голосов при переводе видео?

Технология «Живые голоса» при переводе видео, например в «Яндекс Браузере», работает на базе нейросети YandexGPT. blog.eldorado.ru Модель обучена на сотнях тысяч примеров аудио для того, чтобы не только копировать голос говорящего, но и правильно передавать его интонацию и стиль речи. blog.eldorado.ru

Процесс происходит так: пользователь выбирает видео для перевода, а нейросеть создаёт озвучку, которая синхронизируется с движениями губ в видео. speechify.com Если видео длинное, нужно подождать, пока нейросеть его обработает. blog.eldorado.ru

Чтобы включить функцию «Живые голоса», во всплывающем окне переводчика нужно выбрать соответствующий пункт. blog.eldorado.ru Для использования улучшенного перевода необходимо авторизоваться с помощью Яндекс ID. blog.eldorado.ru

Такая технология особенно актуальна при просмотре записей живых выступлений, скетчей, а также прослушивании речей людей. blog.eldorado.ru