Разница между алгоритмами оптимизации в LogisticRegression заключается в разных подходах к нахождению минимума функции потерь. 3

Один из примеров — алгоритм градиентного спуска. 34 Он использует линейную аппроксимацию функции (градиент — это наклон этой линейной аппроксимации). 3

Ещё один метод —  метод Ньютона. 3 Он использует квадратичную аппроксимацию (с использованием матрицы Гессиана) и часто обеспечивает более быструю сходимость, чем градиентный спуск, потому что использует вторую производную. 3

Также в LogisticRegression может использоваться алгоритм координатного спуска (КС), реализованный в библиотеке liblinear. 5 В этом случае задача оптимизации декомпозируется по принципу «один против остальных», поэтому для всех классов обучаются отдельные двоичные классификаторы. 5