Как применяется энтропия в статистике для оценки неопределенности данных?

Энтропия в статистике применяется для оценки неопределённости данных путём измерения уровня неожиданности, связанной с конкретным результатом, учитывая известное распределение вероятностей. www.mql5.com

Некоторые области применения энтропии:

• Анализ временных рядов. vmu.phys.msu.ru Приближённая и выборочная энтропии используются в качестве меры оценки случайности временного ряда в отсутствие сведений о системе, породившей этот ряд. vmu.phys.msu.ru Перестановочная энтропия позволяет быстро оценить неопределённость относительно временной структуры какого-либо временного ряда. vmu.phys.msu.ru
• Исследование причинно-следственных связей. www.mql5.com С помощью энтропии переноса можно выявить направление причинно-следственного взаимовлияния различных процессов. www.mql5.com
• Модели машинного обучения. habr.com Энтропия используется как мера беспорядка или неопределённости, а цель таких моделей — уменьшить эту неопределённость. habr.com Например, алгоритмы деревьев решений используют энтропию и информационный выигрыш, чтобы решить, по какому признаку разбивать узлы в процессе обучения на данных. habr.com