В теории информации энтропия используется как мера неопределённости некоторой системы, например, непредсказуемости возникновения какого-нибудь символа первичного алфавита. 1 Если отсутствуют информационные потери, то энтропия численно равняется количеству информации на один символ пересылаемого сообщения. 1

В математической статистике энтропия может применяться для учёта статистических связей между символами, входящими в сообщение. 2 Например, когда очередность символов алфавита зависимая, то количество информации, которую содержит последовательность данных символов (а значит и энтропия), очевидно меньше. 1 Чтобы можно было учитывать такие факты, существует понятие условной энтропии. 1

Также энтропийный подход позволяет получить интересные результаты при анализе временных рядов, в частности при моделировании поведения различных инструментов на финансовых рынках, а также при моделировании процессов принятия управленческих решений в экономике. 4