Вопросы к Поиску с Алисой
При вычислении количества информации в сообщении о редких событиях используется вероятностный подход. maximumtest.ru
Согласно этому подходу, чем менее вероятно событие, тем более «ценно» оно с точки зрения информации. maximumtest.ru Редкое событие несёт больше информации, и наоборот, частое, вероятное событие — меньше. maximumtest.ru
Для вычисления количества информации в случае не равновероятных событий используется формула Шеннона: informatics-lesson.ru
I = p1 |* log2 (1 / p1) + p2 |* log2 (1 / p2) + … + pN |* log2 (1 / pN), где: informatics-lesson.ru
С математической точки зрения результат, вычисленный по формуле Шеннона, — это среднее количество информации, полученное о наступлении одного из возможных событий. informatics-lesson.ru