Как рассчитать количество информации, содержащееся в сообщении о выпадении шара определенного цвета в урне?

Чтобы рассчитать количество информации, содержащееся в сообщении о выпадении шара определённого цвета в урне, можно использовать формулу Хартли, где р — вероятность отдельного события. nsportal.ru

Также существует формула, которая связывает между собой количество возможных событий и количество информации: N = 2I, где N — количество возможных вариантов, I — количество информации. nsportal.ru Если из этой формулы выразить количество информации, то получится I = log2N. nsportal.ru

Пример: в урне находятся шары: 3 красных и 9 синих. otvet.mail.ru Какое количество информации несёт сообщение о том, что из урны достали красный шар? otvet.mail.ru

Решение: 3 красных можно хранить в 2 битах (максимум 4 комбинации), 9 синих — в 4 битах (максимум 16 комбинаций). otvet.mail.ru Сообщение должно нести информацию о типе шара (1 бит, ибо их всего 2), и о их количестве (количество битов зависит от состояния первого бита). otvet.mail.ru Следовательно, 1 бит (тип шара — красный), 2 бита (количество шаров: 1), итого 3 бита. otvet.mail.ru