В чем заключались ключевые инновации, представленные в архитектуре AlexNet?

Некоторые ключевые инновации, представленные в архитектуре AlexNet:

• Использование фильтров разного размера. rudesignshop.ru Первый слой использовал фильтры размером 11×11 с шагом 4, что позволяло захватывать крупномасштабные особенности изображения. rudesignshop.ru Последующие свёрточные слои имели меньшие размеры фильтров: 5×5 и 3×3, обеспечивая детальное извлечение признаков. rudesignshop.ru
• Применение функции активации ReLU. rudesignshop.ru www.mygreatlearning.com Она заменила традиционную сигмоидную активацию и существенно ускорила процесс обучения. rudesignshop.ru ReLU обеспечивала линейное преобразование для положительных значений и нулевые значения для отрицательных входов. rudesignshop.ru
• Использование техники Dropout. rudesignshop.ru www.mygreatlearning.com Этот метод предотвращал переобучение путём случайного отключения половины нейронов во время каждой итерации обучения. rudesignshop.ru Такой подход обеспечивал более надёжное обобщение модели и повышал её устойчивость к шуму в данных. rudesignshop.ru
• Применение локального ответного нормализационного слоя (LRN). rudesignshop.ru Он использовался для нормализации входных данных. rudesignshop.ru Хотя впоследствии эта техника была признана менее эффективной по сравнению с другими методами регуляризации, в рамках AlexNet она сыграла свою роль в улучшении обобщающей способности модели. rudesignshop.ru
• Использование графических процессоров (GPU). rudesignshop.ru www.mygreatlearning.com Это позволило значительно ускорить обучение модели. rudesignshop.ru Впервые было применено разделение вычислений между двумя GPU, что стало техническим ноу-хау того времени. rudesignshop.ru
• Применение методов увеличения данных. www.allelcoelec.ru www.mygreatlearning.com Например, добавление шума на основе PCA, для расширения учебного набора данных и сокращения переобучения. www.allelcoelec.ru