В чем разница между алгоритмами оптимизации в LogisticRegression?

Разница между алгоритмами оптимизации в LogisticRegression заключается в разных подходах к нахождению минимума функции потерь. stats.stackexchange.com

Один из примеров — алгоритм градиентного спуска. stats.stackexchange.com shtrausslearning.github.io Он использует линейную аппроксимацию функции (градиент — это наклон этой линейной аппроксимации). stats.stackexchange.com

Ещё один метод —  метод Ньютона. stats.stackexchange.com Он использует квадратичную аппроксимацию (с использованием матрицы Гессиана) и часто обеспечивает более быструю сходимость, чем градиентный спуск, потому что использует вторую производную. stats.stackexchange.com

Также в LogisticRegression может использоваться алгоритм координатного спуска (КС), реализованный в библиотеке liblinear. scikit-learn.ru В этом случае задача оптимизации декомпозируется по принципу «один против остальных», поэтому для всех классов обучаются отдельные двоичные классификаторы. scikit-learn.ru