Как рассчитать количество информации при извлечении редкого элемента из набора?

Для расчёта количества информации при извлечении редкого элемента из набора можно использовать вероятностный подход, который учитывает неодинаковую вероятность сообщений в наборе. book.kbsu.ru eduamti.ru

Формула Шеннона позволяет определить количество информации, где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. book.kbsu.ru

Пример: в корзине лежат 16 мячей разного цвета: 4 красных, 8 синих и 4 жёлтых. eduamti.ru Нужно определить, какое количество информации несёт в себе сообщение, что из корзины извлечён один мяч. eduamti.ru

Решение: так как количество мячей разного цвета в корзине не одинаково, нужно подсчитать вероятности их извлечения: eduamti.ru

• красного шара: рк = 4/16 = 0,25; eduamti.ru
• синего шара: рс = 8/16 = 0,5; eduamti.ru
• жёлтого шара: рж = 4/16 = 0,25. eduamti.ru

Далее можно воспользоваться формулой Шеннона: book.kbsu.ru I = — (pкlog2 pк + pсlog2 pс + рж*log2 рж) = -(0,25 *log2 0,25 + 0,5*log2 0,5 + 0,25 *log2 0,25) = 1,5 бита. eduamti.ru

Ответ: сообщение об извлечённом мяче несёт 1,5 бита информации. eduamti.ru