Как рассчитать количество информации при извлечении предмета из множества?

Для расчёта количества информации при извлечении предмета из множества можно использовать формулу Хартли или формулу Шеннона. phys.bspu.by examer.ru

Формула Хартли позволяет определить количество информации I в выбранном сообщении при условии, что процесс получения информации происходит как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений. phys.bspu.by Формула имеет вид: I = log2N. phys.bspu.by

Формула Шеннона применяется, когда возможные события имеют различные вероятности реализации. examer.ru В этом случае количество информации определяют по формуле: I = −∑i=1Npilog2pi, где: examer.ru

• I — количество информации; examer.ru
• N — количество возможных событий; examer.ru
• pi — вероятность i-го события. examer.ru

Пример: шарик находится в одной из четырёх коробок. examer.ru Имеется четыре равновероятных события (N = 4). examer.ru Тогда по формуле Хартли 4 = 2I, откуда I = 2. examer.ru То есть сообщение о том, в какой именно коробке находится шарик, содержит 2 бита информации. examer.ru