В чем преимущества нейронных сетей без использования градиентного спуска?

Некоторые преимущества нейронных сетей без использования градиентного спуска:

• Большая свобода при выборе активации функции. 3 Безградиентные методы, например оптимизация скопления частиц (PSO), не требуют дифференцируемости проблемы оптимизации и обеспечивают меньшую чувствительность при выборе активации функции. 23
• Возможность поиска на больших пространствах. 3 Некоторые безградиентные методы практически не делают предположений в отношении оптимизируемой задачи и могут выполнять поиск на очень больших пространствах. 3
• Более быстрое обучение. 3 Например, суррогатная оптимизация практически всегда будет быстрее градиентного спуска, но зачастую в ущерб точности. 3
• Возможность работы с целевыми функциями чёрного ящика. 2 Некоторые безградиентные методы, такие как имитированный отжиг, оптимизация роя частиц и генетические алгоритмы, могут успешно использоваться с целевыми функциями чёрного ящика и задачами, требующими запуска моделирования. 2