Оптимизация алгоритмов машинного обучения с ограничениями на значения переменных называется условной оптимизацией. 2 Она более сложна, чем оптимизация без ограничений, так как включает условия, которые должны соблюдаться. 2 Ограничения могут быть равенствами или неравенствами и определяют область допустимых решений. 2

Некоторые методы условной оптимизации:

• Множители Лагранжа. 1 В этом методе вводятся дополнительные переменные, чтобы ограниченную задачу можно было превратить в неограниченную. 1 Он предназначен для задач, имеющих ограничения на равенство, что позволяет определить точки, в которых как целевая функция, так и ограничения выполняются оптимально. 1
• Условия KKT. 1 Эти условия обобщают условия множителей Лагранжа, чтобы охватить ограничения как на равенство, так и на неравенство. 1
• Байесовская оптимизация. 1 Этот подход полезен для задач оптимизации, где целевая функция сложна, зашумлена и/или требует больших затрат на оценку. 1 Байесовская оптимизация основывается на информации о предыдущих сделанных оценках и способна принимать рациональные решения относительно дальнейшей оценки определённых гиперпараметров. 1

Для решения задач условной оптимизации также используют градиентные методы, метаэвристические алгоритмы и другие подходы. 4