Как работает технология чтения с экрана в современных компьютерных играх?

Технология чтения с экрана в современных компьютерных играх работает за счёт преобразования визуальных данных в невизуальную форму, например, в виде речи или шрифта Брайля. unity.com

Для этого используется API для чтения с экрана — иерархия структур данных, которая содержит информацию, необходимую устройству для чтения с экрана. unity.com

Каждый узел в иерархии обычно представляет доступный элемент игры. unity.com Он имеет метку, позицию на экране, иногда значение и дополнительную информацию, которая поможет экранному сканеру предоставить пользователю больше информации об этом элементе. unity.com

Порядок расположения узлов в иерархии доступности определяет порядок, в котором программа чтения с экрана будет перемещаться по экрану. unity.com Узлы-сёстры (узлы на одном уровне иерархии) читаются по порядку, а родительский узел, например, читается раньше своих дочерних узлов. unity.com

Например, в игре Avatar от HBO Games функцию чтения с экрана можно включить в игре, быстро нажав на экран 3 раза 3 пальцами, или в разделе «Настройки» > «Специальные возможности» > «Озвучивание текста». hbogamessupport.wbgames.com