В чем заключается формула Шеннона для определения информационного объема текста?

Формула Шеннона позволяет определить количество информации в сообщении о событиях с различными вероятностями. infourok.ru in.lit.msu.ru

Формула была предложена американским учёным Клодом Шенноном в 1948 году. infourok.ru mif.vspu.ru Её вид: I = — (p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где: mif.vspu.ru

• I — количество информации; in.lit.msu.ru
• N — количество возможных событий; in.lit.msu.ru
• pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. mif.vspu.ru

Связь между вероятностью события и количеством информации в сообщении заключается в следующем: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. in.lit.msu.ru

В качестве единицы информации Клод Шеннон предложил принять один бит (двоичная цифра). mif.vspu.ru