В чем заключается принцип информационной энтропии в системах коммуникации?

Принцип информационной энтропии в системах коммуникации заключается в том, что энтропия выступает как разница между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. ru.wikipedia.org spravochnick.ru

Другими словами, это мера хаотичности информации, неопределённости возникновения какого-нибудь символа первичного алфавита. spravochnick.ru Чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т.д.). dzen.ru

Например, в предложении на русском языке каждый символ может появляться с различной частотой, то есть уровень неопределённости появления некоторых символов больше, чем у других. spravochnick.ru

При отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. ru.wikipedia.org