Принцип энтропии при передаче данных заключается в том, что чем больше неопределённость до передачи сообщения, тем больше информации будет получено в результате. 12

Энтропия характеризует неопределённость ситуации до передачи, поскольку заранее неизвестно, какое из сообщений ансамбля источника будет передано. 2 Чем больше энтропия, тем сильнее неопределённость и тем большую информацию в среднем несёт одно сообщение источника. 2

Также энтропия Шеннона представляет собой фундаментальный предел, насколько можно сжать сообщение без риска искажения, то есть максимально достижимые возможности кодирования без потерь. 4 Если отправитель использует для передачи сообщения меньше битов, сообщение неизбежно будет искажено. 4

Для эффективного кодирования сообщений необходимо увеличивать энтропию за счёт выравнивания вероятностей появления символов и устранения статистических связей между элементами. 1