Принцип информационной энтропии в системах коммуникации заключается в том, что энтропия выступает как разница между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. 12

Другими словами, это мера хаотичности информации, неопределённости возникновения какого-нибудь символа первичного алфавита. 2 Чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т.д.). 4

Например, в предложении на русском языке каждый символ может появляться с различной частотой, то есть уровень неопределённости появления некоторых символов больше, чем у других. 2

При отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. 1