Работа Яндекс Нейропереводчика включает несколько этапов: 2

1. Определение языка говорящего. 2 Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. 2
2. Перевод речи в текст. 2 В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. 2
3. Нормализация текста и расстановка знаков препинания. 2 Нейросеть получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. 2
4. Определение количества спикеров, их пола и применяемых местоимений. 2 Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. 2
5. Перевод текста на русский язык. 2
6. Синтез речи и синхронизация её с роликом. 2 Нейросеть делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. 2

Также в Яндекс Переводчике используется гибридный перевод, который состоит из двух дополняющих друг друга моделей — статистического и нейросетевого переводов. 4 Перевод выполняется двумя моделями одновременно, после чего алгоритм машинного обучения CatBoost сравнивает результаты и предлагает лучший. 4