Как рассчитать количество информации при множественном выборе предметов?

Для расчёта количества информации при множественном выборе предметов используют формулы Хартли и Шеннона. book.kbsu.ru

Формула Хартли позволяет определить количество информации I при выборе одного сообщения из конечного множества N равновероятных сообщений. book.kbsu.ru Количество информации вычисляется как двоичный логарифм N: I = log2N. book.kbsu.ru

Формула Шеннона применяется, когда возможные события имеют различные вероятности реализации. examer.ru В этом случае количество информации определяется по формуле: I = −(p1 log2 p1 + p2 log2 p2 +…+ pN log2 pN), где: in.lit.msu.ru

• I — количество информации; in.lit.msu.ru examer.ru
• N — количество возможных событий; in.lit.msu.ru examer.ru
• pi — вероятность i-го события. in.lit.msu.ru examer.ru

Единицей измерения количества информации является бит. book.kbsu.ru examer.ru 1 бит — это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределённость знаний о чём-либо. examer.ru

Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями. book.kbsu.ru