В чем заключаются ключевые различия между функцией потерь и целевой функцией?

Некоторые ключевые различия между функцией потерь и целевой функцией в контексте машинного обучения:

1. Область применения:

• Функция потерь определяет, насколько сильно прогноз модели отклоняется от базовой истины для одного конкретного объекта. 2
• Целевая функция — та, которую оптимизируют, её значение хотят либо минимизировать, либо максимизировать. 2 Обычно это сумма потерь от предсказаний на всех объектах обучающей выборки. 1

1. Цель использования:

• Функция потерь предназначена для обучения с учителем, она показывает, насколько далеки тестируемые параметры от предполагаемого целевого значения. 3
• Целевая функция используется для обучения модели, при этом важно не только минимизировать затраты (потери) на обучающие данные, но и обеспечить возможность обобщения. 2

Следует отметить, что нет единого мнения относительно точных определений этих терминов, и часто они используются как синонимы. 2