Как работает функция закадрового перевода в современных браузерах?

Возможно, имелся в виду закадровый перевод в «Яндекс Браузере». dzen.ru www.ixbt.com По информации на апрель 2025 года, функция работает на основе новой нейросетевой модели, которая анализирует англоязычную речь, выделяет тембр, ритм, интонации и воспроизводит их в переводе. www.ixbt.com

Процесс закадрового перевода включает несколько этапов: trashbox.ru

1. Распознавание и переработка речи. trashbox.ru Нейросеть группирует слова в смысловые сегменты, расставляет знаки препинания и удаляет ненужные фрагменты. trashbox.ru Если в видео есть вручную добавленные субтитры, то нейросеть использует их, а не оригинальную аудиодорожку. trashbox.ru
2. Определение пола говорящего. trashbox.ru Технология может озвучивать ролики женским или мужским голосом. trashbox.ru Для этого алгоритмы определяют пол людей, присутствующих на видео. trashbox.ru
3. Машинный перевод с учётом пола. trashbox.ru Алгоритмы учитывают пол говорящих, чтобы выбирать правильные местоимения, а также корректные формы глаголов и прилагательных. trashbox.ru
4. Синтез речи с учётом разницы языков. trashbox.ru Переведённая речь в среднем на 10–30% длиннее, чем исходная. trashbox.ru Из-за этого может быть рассинхрон между происходящим на экране и озвучкой. trashbox.ru Технологии стараются сократить ненужные паузы между фразами и словами, а уже затем, если этого окажется недостаточно, ускоряют русскую озвучку. trashbox.ru

В апреле 2025 года сообщалось, что перевод нового поколения доступен при просмотре англоязычных роликов на YouTube, в поиске Яндекса, на VK Видео, «Дзене» и Rutube. dzen.ru www.ixbt.com