Как работает алгоритм Шеннона для определения количества информации в сообщении?

Алгоритм Шеннона позволяет определить количество информации в сообщении о событиях с различными вероятностями. infourok.ru spravochnick.ru

При создании формулы Шеннон использовал вероятностную меру неопределённости (энтропию). spravochnick.ru Она помогает оценить состояние изучаемой системы и получить максимально возможную информацию о протекающих в ней процессах. spravochnick.ru

Формула Шеннона включает следующие шаги: urok.1sept.ru

1. Ввод данных. urok.1sept.ru Нужно указать, что дано в условии задачи. urok.1sept.ru
2. Подсчёт общего количества возможных исходов. urok.1sept.ru Для этого используют формулу N = K1 + K2 + … + Ki, где K — величина, показывающая, сколько раз произошло интересующее событие, N — общее число возможных исходов какого-то процесса. urok.1sept.ru
3. Подсчёт вероятности каждого события. urok.1sept.ru Для этого используют формулу pi = Кi/N. urok.1sept.ru
4. Подсчёт количества информации о каждом происходящем событии. urok.1sept.ru Для этого применяют формулу Ii = log2(1/pi). urok.1sept.ru
5. Подсчёт количества информации для событий с различными вероятностями. urok.1sept.ru Для этого используют формулу Шеннона. urok.1sept.ru

Связь между вероятностью события и количеством информации в сообщении можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. urok.1sept.ru

Информация измеряется в битах. foxford.ru По формуле может получиться нецелое количество бит. foxford.ru В случае необходимости нужно оценить длину двоичного кода, кодирующего заданную информацию, это число округляют в большую сторону. foxford.ru