Как рассчитать количество информации при угадывании числа?

Для расчёта количества информации при угадывании числа можно использовать формулу Хартли: количество информации (I) равно двоичному логарифму количества возможных вариантов (N). book.kbsu.ru lib.sgugit.ru

Пример: нужно угадать одно число из набора чисел от единицы до ста. book.kbsu.ru lib.sgugit.ru По формуле Хартли вычисляем: I = log2 100 = 6,644. book.kbsu.ru lib.sgugit.ru Значит, сообщение о верно угаданном числе содержит приблизительно 6,644 единицы информации. book.kbsu.ru lib.sgugit.ru

Также существует формула Шеннона, которая учитывает возможную неодинаковую вероятность сообщений в наборе. book.kbsu.ru

Ещё один способ расчёта количества информации при угадывании числа связан с тем, что если каждый ответ отсекает половину вариантов (уменьшает выбор в 2 раза), то он несёт 1 бит информации. nsportal.ru Тогда общее количество информации (в битах), полученной при угадывании числа, равно количеству заданных вопросов. nsportal.ru