В чём заключается вероятностный подход при решении задач на вычисление информации?

Вероятностный подход при решении задач на вычисление информации заключается в связи между вероятностью события и количеством информации в сообщении об этом событии. maximumtest.ru anngeorg.ru

Согласно этому подходу, чем менее вероятно событие, тем более «ценно» оно с точки зрения информации. maximumtest.ru Редкое событие несёт больше информации, и наоборот, частое, вероятное событие — меньше. maximumtest.ru

Существует два вида вероятностного подхода: uchi.ru

1. Равновероятностный. uchi.ru Вероятность наступления того или иного события в этом случае равна. uchi.ru Для вычисления количества информации при таком подходе используют формулу N = 2i, где N — количество возможных исходов события, а i — количество информации в битах. uchi.ru
2. Неравновероятностный. uchi.ru Вероятности исхода событий в этом случае не равны. uchi.ru Для вычисления количества информации в сообщении о неравновероятном событии используют формулу I = log2(1/p), где I — количество информации, р — вероятность события. anngeorg.ru