Алгоритм распознавания изображений в «Яндекс Картинках» работает на основе машинного обучения и компьютерного зрения. 25

Процесс включает несколько этапов: 1

1. Классификатор (глубокая нейронная сеть) отбирает из всех картинок те, на которых изображён текст. 1 Он учится отличать их от прочих на огромной базе изображений. 1
2. Алгоритм находит на отобранных изображениях линии, предположительно содержащие текст. 1 Различать их помогает ещё одна нейронная сеть. 1
3. Алгоритм оставляет только те линии текста, в которых он уверен. 1
4. Модуль распознавания разбивает линии текста на отдельные символы. 1 Для каждого символа алгоритм выбирает несколько наиболее вероятных вариантов распознавания среди известных ему. 1
5. Языковая модель принимает решение, какой из символов-кандидатов подходит лучше всего. 1 Она опирается на словари и учитывает не только сходство символов с теми, что знает система, но и контекст, то есть соседние символы. 1

Точность распознавания зависит от типа изображения, его чёткости, фона, на котором находится текст, и других факторов. 1

Чтобы поиск работал хорошо, объект должен занимать больше 10% от всей площади и быть размером минимум 50×50 пикселей. 2