Как использовать формулу Шеннона для определения количества информации в системе?

Формула Шеннона для определения количества информации в системе учитывает возможную неодинаковую вероятность сообщений в наборе. book.kbsu.ru

Формула Шеннона: I = — (p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. book.kbsu.ru

Пример задачи: в одной стране 200 дней стоит сухая погода, а 165 дней льют дожди. foxford.ru Охотник охотился 30 дней в году. foxford.ru Сколько информации содержится в этом сообщении? foxford.ru

Решение: в задаче видно, что распределение дней неравномерно: есть перевес в сторону сухой погоды. foxford.ru Для таких событий и используется формула Шеннона. foxford.ru Интересующие события в задаче — это тридцать дней охоты по отношению к двумстам засушливым дням и тридцать дней охоты к ста шестидесяти пяти дождливым дням. foxford.ru Получаем: 30/200 = 0,15; 30/165 = 0,18. foxford.ru Далее считаем по формуле: (-(0,15 |* log2 0,15)) + (-(0,18 |* log2 0,18)) = 0,857714. foxford.ru

Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями. book.kbsu.ru