В чем разница между теоретическим и фактическим количеством информации в сообщении?

Разница между теоретическим и фактическим количеством информации в сообщении заключается в том, что теоретическое значение определяется с помощью вероятностного подхода, а фактическое — с учётом конкретной выбранной кодировки. inf.1sept.ru

Теоретическое значение — это минимально возможное количество информации, которое несёт сообщение о определённом исходе события. inf.1sept.ru Это однозначная характеристика рассматриваемого события. inf.1sept.ru

Фактическое количество информации зависит от способа кодирования и может иметь степень избыточности. inf.1sept.ru На количество информации в сообщении также влияет фактор неожиданности для получателя, который зависит от вероятности получения того или иного сообщения. www.miigaik.ru Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. www.miigaik.ru

В идеальном случае теоретическое и фактическое количество информации в сообщении совпадают, но на практике такие условия выполняются редко. inf.1sept.ru www.miigaik.ru