Как рассчитывается количество информации в последовательности случайных символов?

Для расчёта количества информации в последовательности символов используют алфавитный подход, при котором каждый символ текста рассматривается как имеющий определённую информационную ёмкость, зависящую от мощности алфавита. spravochnick.ru videouroki.net

Формула для вычисления количества информации в сообщении: I = K log2 N, где: ru.ruwiki.ru

• N — количество символов в используемом алфавите (мощность алфавита); ru.ruwiki.ru
• K — длина сообщения (количество символов в сообщении); ru.ruwiki.ru
• I — количество информации в сообщении в битах. ru.ruwiki.ru

Пример расчёта: пусть мощность алфавита составляет 50 символов, а сообщение содержит 100 символов. ru.ruwiki.ru Тогда каждый символ несёт количество информации: i = log2 50 ≈ 5,644 бита. ru.ruwiki.ru Общий информационный объём сообщения: I = 5,644 ⋅ 100 = 564,4 бита. ru.ruwiki.ru

Если мощность алфавита не равна целой степени числа 2, количество информации в битах получается дробным. ru.ruwiki.ru В таком случае полученное значение округляют до ближайшего большего значения. ru.ruwiki.ru