Принцип энтропии информации при хранении данных заключается в том, что энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. 2

Информационная энтропия — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. 2 Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. 2

Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для их зашифровки без потери информации, при оптимальном кодировании. 5

Также на основе принципа энтропии для уменьшения избыточности применяется сжатие данных без потерь, а контрольная сумма используется для внесения дополнительной избыточности в поток, что позволяет исправлять ошибки при передаче информации по каналам, вносящим искажения. 2