Как определяется количество информации при выборе одного объекта из множества?

Количество информации при выборе одного объекта из множества определяется с учётом мощности этого множества и вероятности выбора. profbeckman.narod.ru lc.kubagro.ru

По формуле Р. Хартли количество информации (I) в выбранном объекте из множества из N равновероятных сообщений определяется как двоичный логарифм N (I = log2N). lib.sgugit.ru phys.bspu.by

Например, нужно угадать одно число из набора чисел от единицы до ста. lib.sgugit.ru phys.bspu.by По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2 100 = 6,644. lib.sgugit.ru Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации. lib.sgugit.ru

Клод Шеннон предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. lib.sgugit.ru phys.bspu.by Каждому сигналу присваивалась определённая вероятность его появления. lib.sgugit.ru Чем меньше вероятность появления того или иного сигнала, тем больше он несёт информации. lib.sgugit.ru

Формула Шеннона: I = – ( p1 log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. phys.bspu.by