Какие существуют методы оценки информационной емкости различных алфавитов?

Один из методов оценки информационной ёмкости различных алфавитов — алфавитный подход. examer.ru spravochnick.ru При нём отвлекаются от содержания (смысла) информации и рассматривают её как последовательность знаков определённой знаковой системы. examer.ru

Информационная ёмкость знака зависит от мощности алфавита. videouroki.net Мощность алфавита — это полное количество символов в нём. videouroki.net Например, мощность алфавита из русских букв равна 33, а двоичного алфавита — 2. videouroki.net

По формуле Хартли можно рассчитать, какое количество информации несёт каждый символ. examer.ru Для этого набор символов языка (алфавит) рассматривают как различные возможные события. examer.ru Если считать, что появление символов в сообщении равновероятно, то по формуле Хартли можно рассчитать информационный объём одного символа: I = log2 N. examer.ru

Например, в русском языке 32 буквы (буква ё обычно не используется), то есть количество событий будет равно 32. examer.ru Тогда информационный объём одного символа будет равен: I = log2 32 = 5 битов. examer.ru