Как рассчитать количество информации в сообщении с помощью формулы Шеннона?

Формула Шеннона для расчёта количества информации в сообщении имеет вид: I = −(p1log2 p1 + p2 log2 p2 + … + pN log2 pN), где: book.kbsu.ru

• I — количество информации; www.yaklass.ru
• N — количество возможных событий; www.yaklass.ru
• pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. book.kbsu.ru

Пример использования формулы: нужно определить, какое количество информации получится при реализации одного из событий, если вероятность выпадения осадков в виде дождя равна 0,5, ветра — 0,25, грозы и молнии — 0,125. www.yaklass.ru

Решение: согласно формуле Шеннона, I = −0,5⋅log20,5 + 0,25⋅log20,25 + 0,125⋅log20,125 + 0,125⋅log20,125 = −0,5 − 0,5 − 0,375 − 0,375 = 1,75. www.yaklass.ru

Ответ: 1,75 бит. www.yaklass.ru