Как формула Шеннона применяется для расчета информационной емкости текстовых данных?

Формула Шеннона применяется в контексте вероятностного подхода к измерению количества информации, когда возможные события имеют различные вероятности реализации. examer.ru

Для расчёта информационной ёмкости текстовых данных обычно используют формулу, в которой нужно знать количество символов в тексте и информационный вес одного символа. foxford.ru

Пример: слово «мама», набранное в кодировке ASCII, будет иметь информационный объём 32 бита. foxford.ru В слове 4 символа, а вес одного символа — 8 бит. foxford.ru Следовательно, информационный объём равен 4 |* 8 = 32. foxford.ru

Формула для расчёта: I = K |* b, где: foxford.ru

• I — информационный объём текста; foxford.ru
• K — количество символов в сообщении; foxford.ru
• b — информационный вес одного символа в битах. foxford.ru