Как рассчитать количество информации в системах с множеством вариантов?

Для расчёта количества информации в системах с множеством вариантов используют вероятностный и алфавитный подходы. examer.ru

При алфавитном подходе рассматривают информацию как последовательность знаков определённой знаковой системы. examer.ru Набор символов языка (алфавит) рассматривают как различные возможные события. examer.ru Если считать, что появление символов в сообщении равновероятно, то, используя формулу Хартли, можно рассчитать, какое количество информации несёт каждый символ: I = log2 N. examer.ru ru.ruwiki.ru

Вероятностный подход применяют, когда возможные события имеют различные вероятности реализации. examer.ru В этом случае количество информации определяют по формуле Шеннона: I = −∑i=1Npilog2pi, где: examer.ru

• I — количество информации; examer.ru
• N — количество возможных событий; examer.ru
• pi — вероятность i-го события. examer.ru

Единица измерения количества информации — бит. examer.ru 1 бит — это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределённость знаний о чём-либо. examer.ru