Как применяется логарифмическая функция для расчета количества бит на символ?

Логарифмическая функция применяется для расчёта количества бит на символ в алфавитном методе Хартли. ru.ruwiki.ru Он используется для измерения количества информации в сообщениях с равновероятными символами. ru.ruwiki.ru

Для определения количества информации i в одном символе алфавита мощности N применяется формула Хартли: i = log2(N). ru.wikipedia.org otvet.mail.ru

В этой формуле количество информации (i), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N). ru.wikipedia.org

Пример: если в русском языке 33 буквы, но буква ё обычно не используется, то количество событий будет равно 32. ru.ruwiki.ru Тогда информационный объём одного символа будет равен: I = log2(32) = 5 битов. ru.ruwiki.ru