Эффективность поисковых алгоритмов при оптимизации под определённые числовые значения может изменяться по разным причинам, например:

• Подбор параметров под конкретную задачу. 1 Это может увеличить скорость сходимости. 1
• Выбор стратегии алгоритма. 2 Для каждой задачи оптимизации оптимальной является своя стратегия. 2
• Изменение скорости обучения. 3 Неправильный выбор скорости обучения может привести к неэффективной сходимости: слишком большая скорость может привести к «перепрыгиванию» минимумов, а слишком маленькая — замедлить процесс обучения. 3
• Изменение подхода к поиску решения. 1 Например, эффективность случайного поиска возрастает, если только часть параметров в выбранном пространстве поиска значима и от перебора значений части из них можно отказаться. 1

Также есть мнение, что эффективность алгоритма во многом определяется скоростью сходимости итерационной последовательности. 5 Обычно большей эффективностью обладают алгоритмы более высокого порядка. 5