Как измеряется качество перевода между разными языками?

Для измерения качества перевода между разными языками используют различные метрики, которые учитывают разные аспекты перевода. habr.com lingvanex.com Некоторые из них:

• BLEU (Bilingual Evaluation Understudy). habr.com llmstudio.ru Метрика оценивает качество машинного перевода, сравнивая n-граммы переведённого текста с n-граммами эталонного (человеческого) перевода. lingvanex.com Чем выше совпадение, тем лучше считается качество перевода. lingvanex.com
• TER (Translation Edit Rate). habr.com Метрика основана на подсчёте минимального числа правок, требуемых для приведения машинного перевода в полное соответствие наиболее близкому эталонному переводу. habr.com
• chrF, chrF++. habr.com Метрика основана на подсчёте совпадений последовательно идущих символов в машинном и эталонном переводах. habr.com chrF++ учитывает как совпадения последовательно идущих символов, так и совпадения последовательно идущих слов. habr.com
• RIBES (Rank-based Intuitive Bilingual Evaluation Score). habr.com Метрика разработана для оценки качества переводов для далёких языков, существенно различных по структуре предложений. habr.com
• BERTScore. llmstudio.ru Метрика оценивает качество текста, сравнивая смысловую похожесть слов в кандидате и эталоне, учитывая их семантический смысл, а не только буквальное совпадение. llmstudio.ru
• COMET (Crosslingual Optimised Metric for Evaluation of Translation). lingvanex.com Метрика использует методы машинного обучения для оценки качества перевода относительно эталонного. lingvanex.com
• J2450. sgerb.ru Метрика представляет собой систему оценки ошибок в переводе, по которой может быть измерено качество перевода независимо от исходного языка, языка перевода и способа выполнения перевода. sgerb.ru