Архитектура U-Net состоит из двух частей: стягивающего пути (кодировщика) и расширяющегося пути (декодировщика). 14

Стягивающий путь отвечает за выявление значимых признаков на входном изображении. 1 Слои кодировщика выполняют свёрточные операции, которые уменьшают пространственное разрешение карт признаков, увеличивая их глубину. 1

Расширяющийся путь работает над декодированием закодированных данных и локализацией признаков при сохранении пространственного разрешения ввода. 1 Слои декодировщика в расширяющемся пути увеличивают пространственное разрешение карт признаков, также выполняя свёрточные операции. 1

Некоторые особенности работы архитектуры U-Net:

• Объединение информации из декодировщика и кодировщика происходит путём конкатенации (объединения) внутренних представлений вдоль каналов. 3
• Обрезка внутренних представлений с кодировщика необходима, чтобы конкатенировались тензоры одинакового пространственного размера. 3
• Входное изображение перед обработкой расширяется с помощью отражения пикселей по краям, чтобы после всех свёрток на выходе получить ту же пространственную размерность, которой обладало сегментируемое изображение. 3
• На последнем слое используется свёртка 1×1 для сопоставления каждого 64-компонентного вектора свойств с желаемым количеством классов. 25

Всего сеть U-Net содержит 23 свёрточных слоя. 25