Как работает нейронный машинный перевод в Google переводчике?

Система нейронного машинного перевода (GNMT) в Google Переводчике работает на основе рекуррентных двунаправленных нейронных сетей. www.cossa.ru

Некоторые особенности работы:

• Система вычисляет значение слова или фразы на основе предыдущих значений в последовательности. www.cossa.ru Это позволяет учитывать контекст и правильно выбирать среди разных вариантов перевода. www.cossa.ru Например, в словосочетании «лук из красного дерева» слово «лук» система переведёт как «bow», а не «onion». www.cossa.ru
• Нейросеть разделена на два потока — анализирующий и синтезирующий. www.cossa.ru Каждый поток состоит из восьми слоёв, которые проводят векторный анализ. www.cossa.ru
• Первый поток разбивает предложение на смысловые элементы и анализирует их. www.cossa.ru Анализирующая сеть «читает» предложение не только слева направо, но и справа налево — это позволяет в полной мере понять контекст. www.cossa.ru
• Второй поток высчитывает наиболее вероятный вариант перевода, исходя из контекста и модулей внимания. www.cossa.ru
• Между нейросетями установлен дополнительный модуль внимания, который корректирует работу таким образом, чтобы система не пропускала редкие, но важные для смысла предложения слова. nplus1.ru

При переводе предложение разбивается на словарные сегменты. www.cossa.ru Затем с помощью специальных декодеров система определяет «вес» каждого сегмента в тексте. www.cossa.ru Далее вычисляется максимально вероятные значения и перевод сегментов. www.cossa.ru Последний этап — соединить переведённые сегменты с учётом грамматики. www.cossa.ru