Некоторые преимущества алгоритма BLEU для оценки машинного перевода:

• Простота использования. 35 Метрика одна из самых простых в использовании и популярная. 3
• Высокая корреляция с оценками человека. 5 Основная идея BLEU заключается в том, что чем ближе машинный перевод к профессиональному человеческому переводу, тем он лучше. 45
• Работа с большими объёмами данных. 1 Оценка BLEU лучше всего подходит для анализа больших объёмов информации. 1

Некоторые недостатки алгоритма BLEU для оценки машинного перевода:

• Не учитывает лексическое сходство переводов. 3 Метрика не подходит для оценки переводов художественных текстов, потому что по составу слов такие переводы нередко сильно отличаются от оригиналов. 3
• Не учитывает порядок слов при сравнении переводов. 3
• Высоко оценивает дословный перевод. 3
• Результаты трудно интерпретировать. 3
• Не всегда отражает реальную производительность системы. 4 Оценки BLEU отражают только то, как система работает с определённым набором исходных предложений и переводов, выбранных для теста. 4
• Не подходит для оценки преобразований, которые существенно изменяют порядок слов. 4