Энтропия по-простому — это количественная мера беспорядка. 2 Чем выше беспорядок, тем больше и значение энтропии. 3

Также энтропия характеризует конкретность информации, или, можно сказать, является мерой неопределённости. 1 Если мы знаем о чём-то точно, то энтропия этого события низкая. 1 Если же мы в чём-то не уверены и у нас мало информации, то энтропия высокая. 1

Например, если спросить, где человек живёт, и он ответит: «В России», то его энтропия для собеседника будет высока, так как Россия — большая страна. 4 Если же он назовёт свой почтовый индекс, то энтропия понизится, поскольку будет получена дополнительная информация. 4