Энтропия считается мерой неопределённости, потому что она позволяет измерять взаимосвязь между принципами неупорядоченности и неопределённости. 1

Чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т. д.). 1 Например, если вероятность одного из значений равна 1 (а все остальные равны 0), то энтропия равна 0, так как нет никакой неопределённости. 4 Если же все значения равновероятны, то энтропия максимальна. 4

Кроме того, чем выше уровень неопределённости, тем сложнее планировать и принимать решения. 23 Например, если не знать, какая завтра будет погода, затруднительно решить, стоит ли предложить друзьям прогулку, какую одежду приготовить, чем лучше заняться и т. д.. 2