Вопросы к Поиску с Алисой
Для вычисления количества информации в сообщении о случайном событии используют вероятностный подход. examer.ru
Если события равновероятны, то количество информации определяется по формуле Хартли: I = log2N, где I — количество информации в битах, N — количество равновероятных вариантов события. old-vt.chuvsu.ru old.iro.yar.ru
Для событий с различными вероятностями применяют формулу Шеннона: I = −∑i=1Npilog2pi, где I — количество информации, N — количество возможных событий, pi — вероятность i-го события. examer.ru
Единица измерения количества информации — бит. examer.ru 1 бит — это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределённость знаний о чём-либо. examer.ru
Пример: есть два мешка, в каждом лежат 16 шариков разного цвета. foxford.ru Нужно вычислить, какое количество информации несёт сообщение: «Из первого мешка вытащили (наугад) красный шарик, а из второго — зелёный». foxford.ru
Решение: есть 16 способов вытащить шарик из каждого мешка. foxford.ru Всего получается 16 |* 16 = 256 возможных вариантов, вероятность каждого из них равна 1/256. foxford.ru Тогда количество информации в сообщении будет равно: I = log2(1/(1/256)) = log2 256 = 8 бит. foxford.ru