Какие преимущества и недостатки имеет алгоритм BLEU для оценки машинного перевода?

Некоторые преимущества алгоритма BLEU для оценки машинного перевода:

• Простота использования. cyberleninka.ru core.ac.uk Метрика одна из самых простых в использовании и популярная. cyberleninka.ru
• Высокая корреляция с оценками человека. core.ac.uk Основная идея BLEU заключается в том, что чем ближе машинный перевод к профессиональному человеческому переводу, тем он лучше. vestnik-rosnou.ru core.ac.uk
• Работа с большими объёмами данных. habr.com Оценка BLEU лучше всего подходит для анализа больших объёмов информации. habr.com

Некоторые недостатки алгоритма BLEU для оценки машинного перевода:

• Не учитывает лексическое сходство переводов. cyberleninka.ru Метрика не подходит для оценки переводов художественных текстов, потому что по составу слов такие переводы нередко сильно отличаются от оригиналов. cyberleninka.ru
• Не учитывает порядок слов при сравнении переводов. cyberleninka.ru
• Высоко оценивает дословный перевод. cyberleninka.ru
• Результаты трудно интерпретировать. cyberleninka.ru
• Не всегда отражает реальную производительность системы. vestnik-rosnou.ru Оценки BLEU отражают только то, как система работает с определённым набором исходных предложений и переводов, выбранных для теста. vestnik-rosnou.ru
• Не подходит для оценки преобразований, которые существенно изменяют порядок слов. vestnik-rosnou.ru