Некоторые ключевые различия между shallow-нейронными сетями и алгоритмами глубокого обучения:

• Количество слоёв. 12 У shallow-нейронных сетей обычно один или несколько слоёв, у алгоритмов глубокого обучения — много слоёв. 12
• Способность к обучению. 4 Shallow-нейронные сети имеют ограниченную способность к обучению, подходят для задач, где отношения в данных относительно простые или линейные. 4 Алгоритмы глубокого обучения обладают более высокой способностью к обучению, эффективны для задач, требующих понимания сложных и абстрактных особенностей. 4
• Требования к данным. 4 Для обучения shallow-нейронных сетей обычно требуется меньше данных. 4 Алгоритмы глубокого обучения нуждаются в больших объёмах данных для обучения. 4
• Количество параметров. 4 У shallow-нейронных сетей относительно небольшое количество параметров из-за ограниченного числа скрытых слоёв. 4 У алгоритмов глубокого обучения значительно больше параметров из-за множества скрытых слоёв и связей между нейронами. 4
• Риск переобучения. 4 Из-за меньшего количества параметров и простой архитектуры shallow-нейронные сети имеют меньший риск переобучения. 4 Алгоритмы глубокого обучения более склонны к переобучению из-за большого количества параметров и нескольких слоёв. 4
• Интерпретируемость. 4 Shallow-нейронные сети обычно легче интерпретировать из-за их простой структуры. 4 Алгоритмы глубокого обучения часто описывают как «чёрные ящики», потому что их сложная архитектура делает их трудными для интерпретации. 4

Выбор между shallow- и deep-архитектурой зависит от сложности задачи, объёма доступных данных и доступных вычислительных ресурсов. 1