Как вероятность получения символов влияет на информационную емкость текста?

Вероятность получения символов влияет на информационную ёмкость текста следующим образом: чем менее вероятно получение знака, тем больше его информационная ёмкость. project991638.tilda.ws

Это объясняется тем, что в реальном тексте разные символы встречаются с разной частотой. dzen.ru Например, в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньшее количество буквы «ф» (всего 2). project991638.tilda.ws Таким образом, с точки зрения теории информации, информационная ёмкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» — наибольшая). project991638.tilda.ws

Если получатель заранее точно знает, какой знак придёт, то полученное количество информации будет равно 0. project991638.tilda.ws