Как определять количество информации по вероятностным моделям?

Вероятностный подход к измерению количества информации применяют, когда возможные события имеют различные вероятности реализации. examer.ru

Для вычисления количества информации в таком случае используют формулу Шеннона: I = −∑i=1Npi⋅log2pi, где: examer.ru www.yaklass.ru

• I — количество информации; examer.ru www.yaklass.ru
• N — количество возможных событий; examer.ru www.yaklass.ru
• pi — вероятность i-го события. examer.ru www.yaklass.ru

Пример: пусть вероятность выпадения осадков в виде дождя равна 0,5, ветра — 0,25, грозы и молнии — 0,125. www.yaklass.ru Нужно определить, какое количество информации получим при реализации одного из них. www.yaklass.ru

Решение: согласно формуле Шеннона, I = −0,5⋅log20,5 + 0,25⋅log20,25 + 0,125⋅log20,125 + 0,125⋅log20,125 = −−0,5−0,5−0,375−0,375 = 1,75. www.yaklass.ru

Ответ: 1,75 бита. www.yaklass.ru

Связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. urok.1sept.ru