Как работают сверточные нейросети для обработки изображений?

Работу сверточной нейросети для обработки изображений можно разделить на два этапа: habr.com

1. Подготовка изображения. habr.com Сверточная нейронная сеть воспринимает картинку в виде трёхмерных массивов матриц или чисел. habr.com Поэтому перед поступлением в модель данные нужно подготовить. habr.com Для этого используют системы обработки изображений. habr.com Программа автоматически присваивает каждому пикселю определённое значение: habr.com

• в чёрно-белых картинках — число от 0 до 255 в зависимости от насыщенности; habr.com
• в цветных изображениях — трёхмерную матрицу чисел в виде значений от 0 до 255 по интенсивности красного, зелёного и синего цветов. habr.com

1. Применение фильтров к изображению. habr.com В процессе обработки фильтр умножает значение выбранного пикселя и значения его соседей в соответствии с матрицей фильтра. habr.com Затем полученные произведения складываются. habr.com Получившееся число заменяет исходное значение центрального пикселя. habr.com Например, если у пикселя значение 2, и после применения фильтра к нему и его соседям результат будет 13, это значение и заменит исходное. habr.com При этом значения остальных соседних пикселей не изменяются. habr.com Такой же процесс повторяется для каждого пикселя на изображении. habr.com

После сверточного идёт пулинговый слой, который помогает уменьшить размер карт признаков. habr.com Он выбирает только самые важные данные и убирает лишнее. habr.com Это также снижает нагрузку на компьютер при дальнейших расчётах. habr.com

Затем можно снова применить сверточный слой и повторить процесс несколько раз. habr.com Так получится постепенно выделить более сложные признаки на изображении и выстроить иерархию. habr.com Например, сначала нейросеть найдёт контуры цветка, а потом распознаёт его форму и оттенки лепестков. habr.com

На последнем слое нейронная сеть выделяет признаки, связывает их с конкретными картинками и пытается определить, что на них изображено. gb.ru