Как работает OCR-распознавание текста в игровых интерфейсах?

OCR-распознавание текста в игровых интерфейсах работает по следующему алгоритму: github.com

1. Предобработка. github.com Улучшение качества изображения. github.com Если исходное отсканированное изображение идеально, то всё чёрное — это символы, а всё белое — фон. github.com
2. Распознавание. github.com Сначала OCR-программа объединяет пиксели в возможные буквы, а буквы — в возможные слова. github.com
3. Сопоставление со словарём. github.com Система сопоставляет варианты слов со словарём. github.com Если слово найдено, оно отмечается как распознанное. github.com Если слово не найдено, программа предоставляет наиболее вероятный вариант. github.com
4. Постобработка. github.com Некоторые программы дают возможность просмотреть и исправить ошибки. github.com Для этого они используют встроенную проверку орфографии и выделяют неверно написанные слова. github.com

В играх текст часто зашит в интерфейс, не является обычным текстовым элементом. habr.com Шрифты неоднородны, а фон — не статичен, поэтому стандартные инструменты для распознавания текста не подходят. habr.com Для решения этой проблемы используют специальные OCR-программы, например Windows OCR с предпроцессингом OpenCV. habr.com