В чем заключается принцип энтропии информации при хранении данных?

Принцип энтропии информации при хранении данных заключается в том, что энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. profbeckman.narod.ru

Информационная энтропия — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. profbeckman.narod.ru Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. profbeckman.narod.ru

Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для их зашифровки без потери информации, при оптимальном кодировании. ru.wikipedia.org

Также на основе принципа энтропии для уменьшения избыточности применяется сжатие данных без потерь, а контрольная сумма используется для внесения дополнительной избыточности в поток, что позволяет исправлять ошибки при передаче информации по каналам, вносящим искажения. profbeckman.narod.ru