Количество бит информации, которое содержится в одном символе естественного языка, зависит от алфавита и его мощности. 35 Чем больше алфавит, тем больше информационный вес одного символа. 5
Чтобы рассчитать информационный объём одного символа, можно использовать формулу Хартли: I = log2 N, где I — количество информации, N — количество символов в алфавите. 3
Пример: в русском языке 32 буквы (буква «ё» обычно не используется), то есть количество событий будет равно 32. 3 Тогда информационный объём одного символа будет равен: I = log2 32 = 5 битов. 3