В чем отличие архитектуры LeNet от AlexNet и почему вторая получила такое широкое распространение?

Основное отличие архитектур LeNet и AlexNet — глубина сетей. {6-host} LeNet имеет относительно неглубокую архитектуру, в то время как AlexNet гораздо глубже, что позволяет ей изучать более сложные функции. {6-host}

Некоторые другие отличия:

• Количество слоёв: LeNet состоит из семи слоёв, включая три свёрточных, два слоя субвыборки (пулинга) и два полносвязных слоя. {6-host} AlexNet включает восемь слоёв: пять свёрточных и три полносвязных. {6-host} {7-host}
• Функция активации: LeNet использует tanh, AlexNet — ReLU. {8-host} ReLU не насыщается в положительной области и имеет постоянный градиент для положительных входных данных, что позволяет проводить более быстрое и эффективное обучение. {7-host}
• Контроль сложности модели: AlexNet контролирует сложность полносвязного слоя с помощью dropout, в то время как LeNet использует только decay веса. classic.d2l.ai
• Субдискретизация: LeNet использует Average‑Pooling, AlexNet — max‑pooling. habr.com Max‑pooling позволяет лучше захватывать важные признаки, такие как границы и текстуры, и делает сеть более инвариантной к сдвигам и деформациям объектов. habr.com

AlexNet получила широкое распространение благодаря нескольким факторам:

• Победа в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC) в 2012 году. habr.com {6-host} AlexNet значительно превзошёл существующие методы, показав, что глубокие свёрточные нейросети способны превзойти традиционные алгоритмы компьютерного зрения, основанные на ручном выделении признаков. habr.com
• Изменение подхода к машинному обучению: если раньше исследователи полагались на вручную созданные признаки, то теперь они доверились нейросетям, самостоятельно выделяющим закономерности в данных. habr.com Это открыло путь к развитию компьютерного зрения, которое сегодня лежит в основе технологий дополненной реальности, видеонаблюдения и даже генеративных моделей. habr.com
• Влияние на современные технологии: архитектура AlexNet стала классикой, на которой строятся современные модели. habr.com Идеи, заложенные в AlexNet, используются в системах распознавания лиц в смартфонах, алгоритмах автопилотов в автомобилях Tesla, диагностике рака по снимкам МРТ и других областях. habr.com