В чем заключается принцип работы алгоритма PSPNet для семантической сегментации?

Принцип работы алгоритма PSPNet для семантической сегментации заключается в следующем:

1. Ввод и извлечение объектов. www.geeksforgeeks.org Процесс начинается с входного изображения, которое подвергается извлечению объектов с использованием предварительно обученной модели ResNet. www.geeksforgeeks.org Стратегия расширенной сети помогает извлекать подробную информацию из изображения, а конечный размер карты объектов составляет 1/8 от входного изображения. www.geeksforgeeks.org
2. Модуль объединения пирамид (Pyramid Pooling Module, PPM). habr.com www.geeksforgeeks.org Вводится для сбора контекстной информации поверх извлечённой карты объектов. www.geeksforgeeks.org Создаётся 4-уровневая пирамида, охватывающая всё изображение, половину изображения и небольшие участки. www.geeksforgeeks.org Эти уровни служат глобальным ориентиром для понимания сцены. www.geeksforgeeks.org Объединяемые ядра на разных уровнях охватывают различные контекстуальные масштабы. www.geeksforgeeks.org Информация из пирамиды объединяется как глобальная предыдущая и объединяется с исходной картой объектов из модели ResNet. www.geeksforgeeks.org
3. Объединение признаков (Feature Fusion). habr.com PSPNet объединяет информацию, полученную из разных уровней пирамидального свёртывания, с исходной картой признаков. habr.com Это помогает сети улучшить представление о контексте сцены и одновременно сохранить важные детали для точной сегментации на уровне пикселей. habr.com
4. Декодер. habr.com После пирамидального модуля карта признаков передаётся в декодирующую часть, которая восстанавливает сегментационные маски и преобразует их в исходное разрешение изображения. habr.com