Как рассчитать объем информации в сообщении о событии с множеством исходов?

Для расчёта объёма информации в сообщении о событии с множеством исходов можно использовать формулу Хартли или формулу Шеннона в зависимости от характера событий. examer.ru infourok.ru

Формула Хартли позволяет найти количество информации (i) в сообщении об одном из N равновероятных исходов события. www.yaklass.ru Формула имеет вид: i = log2 N, где N — неопределённость знания (количество возможных исходов какого-то события). www.yaklass.ru

Формула Шеннона применяется, когда возможные события имеют различные вероятности реализации. examer.ru В этом случае количество информации определяют по формуле: I = −∑i=1Npilog2pi, где I — количество информации, N — количество возможных событий, pi — вероятность i-го события. examer.ru

Пример использования формулы Хартли: нужно определить, сколько бит информации несёт сообщение о том, что поезд прибывает на один из 8 путей. infourok.ru По формуле Хартли: i = log2 N, где N — число равновероятностных исходов события, о котором идёт речь в сообщении. infourok.ru Вычисление: i = log2 8 = 3 бита. infourok.ru

Пример использования формулы Шеннона: в классе 30 человек, за контрольную работу по математике получено 6 пятёрок, 15 четвёрок, 8 троек и 1 двойка. infourok.ru Нужно определить, сколько бит информации несёт сообщение о том, что Иванов получил четвёрку. infourok.ru По формуле Шеннона: I = −(15·log2 15 + 8·log2 8 + 6·log2 6) = 1 бит. infourok.ru