Некоторые способы проверки точности машинного перевода:
- Оценка людьми. 1 Профессиональные переводчики оценивают качество перевода вручную. 1 Этот способ эффективен при определении качества машинных переводов вплоть до уровня предложений, но он дорогостоящий и трудоёмкий. 1
- Автоматическая оценка. 1 Для неё используют программы, созданные специально для оценки качества машинного перевода с использованием различных методов. 1 Этот способ не такой надёжный, как оценка людьми, но он подходит для оценки общего качества перевода нескольких документов. 1
- Оценка на основе задач. 1 Система машинного перевода оценивается по тому, насколько она подходит для поставленной задачи. 1 Например, если машинный перевод используется в многоязычном вебинаре, участников могут попросить оценить впечатления от работы с транскриптом, переведённым с помощью машинного перевода. 1
- Использование метрик качества перевода. 25 Обычно о качестве машинного перевода судят, сравнивая его с эталоном, как правило, с переводом, выполненным человеком-переводчиком. 2 Некоторые метрики: BLEU, NIST, ROUGE, METEOR, TER, chrF, chrF++, RIBES. 2
- Оценка по показателю постредактирования. 1 Можно измерить время, необходимое переводчику для исправления результатов машинного перевода, или подсчитать количество нажатий на клавиатуре, которое потребуется для замены текста, переведённого с помощью компьютера, на перевод, выполненный человеком. 1
Выбор метода оценки зависит от конкретных целей и требований задачи перевода. 5