Примеры выпуклых функций потерь:

• В линейной регрессии при использовании функции потерь MSE это всегда выпуклая функция в форме чаши, а градиентный спуск всегда может найти глобальные минимумы. 1
• В логистической регрессии, если использовать кросс-энтропийную потерю, она будет выпуклой, и градиентный спуск может легко сходиться к глобальным минимумам. 1
• Машины опорных векторов также имеют функцию выпуклых потерь. 1

Свойство выпуклости помогает строить смеси экспертов, потому что позволяет градиентному спуску гарантированно сходиться к глобальным минимумам (без локальных оптимумов). 1

Выпуклая функция потерь гарантирует, что есть глобальный минимум (нижняя часть чаши), и что все дороги под гору ведут к нему. 5