Информация может иметь энтропийные характеристики, потому что энтропия выступает как мера неопределённости некоторой системы. 25

Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. 2

Также энтропия связана с тем, что информационная ценность сообщения зависит от степени неожиданности его содержания. 1 Чем меньше вероятность какого-либо события, тем большую неопределённость снимает сообщение о его появлении и, следовательно, тем большую информацию оно несёт. 2

Например, случайная последовательность символов имеет высокую энтропию, потому что допускает очень много способов расположения этих символов, а сообщение, подчиняющееся строгому шаблону, имеет низкую энтропию. 3