Энтропия в статистике применяется для оценки неопределённости данных путём измерения уровня неожиданности, связанной с конкретным результатом, учитывая известное распределение вероятностей. 4
Некоторые области применения энтропии:
- Анализ временных рядов. 2 Приближённая и выборочная энтропии используются в качестве меры оценки случайности временного ряда в отсутствие сведений о системе, породившей этот ряд. 2 Перестановочная энтропия позволяет быстро оценить неопределённость относительно временной структуры какого-либо временного ряда. 2
- Исследование причинно-следственных связей. 4 С помощью энтропии переноса можно выявить направление причинно-следственного взаимовлияния различных процессов. 4
- Модели машинного обучения. 3 Энтропия используется как мера беспорядка или неопределённости, а цель таких моделей — уменьшить эту неопределённость. 3 Например, алгоритмы деревьев решений используют энтропию и информационный выигрыш, чтобы решить, по какому признаку разбивать узлы в процессе обучения на данных. 3