Как энтропия используется в области теории информации и математической статистики?

В теории информации энтропия используется как мера неопределённости некоторой системы, например, непредсказуемости возникновения какого-нибудь символа первичного алфавита. spravochnick.ru Если отсутствуют информационные потери, то энтропия численно равняется количеству информации на один символ пересылаемого сообщения. spravochnick.ru

В математической статистике энтропия может применяться для учёта статистических связей между символами, входящими в сообщение. www.miigaik.ru Например, когда очередность символов алфавита зависимая, то количество информации, которую содержит последовательность данных символов (а значит и энтропия), очевидно меньше. spravochnick.ru Чтобы можно было учитывать такие факты, существует понятие условной энтропии. spravochnick.ru

Также энтропийный подход позволяет получить интересные результаты при анализе временных рядов, в частности при моделировании поведения различных инструментов на финансовых рынках, а также при моделировании процессов принятия управленческих решений в экономике. www.leonarus.ru