Какие методы оптимизации без производных показывают наилучшие результаты на малых выборках?

Нельзя однозначно сказать, какие методы оптимизации без производных показывают наилучшие результаты на малых выборках, так как выбор метода зависит от конкретной задачи и её математической модели. hub.exponenta.ru

Некоторые методы оптимизации без производных (методы нулевого порядка): moodle.kstu.ru

• Метод дихотомии. moodle.kstu.ru Интервал делят пополам и выбирают подынтервал, в котором функция принимает меньшее значение. moodle.kstu.ru
• Метод золотого сечения. moodle.kstu.ru Использует пропорции золотого сечения для оптимизации поиска минимума. moodle.kstu.ru
• Метод Фибоначчи. moodle.kstu.ru Подобен методу золотого сечения, но использует последовательность Фибоначчи для определения точек деления. moodle.kstu.ru
• Метод Пауэлла. moodle.kstu.ru Комбинирует идеи поиска по направлениям и параболической интерполяции. moodle.kstu.ru

Также к методам оптимизации без производных относятся, например, классическая арифметика симуляции отжига, генетические алгоритмы и оптимизация роя частиц. dzen.ru