Как рассчитать количество информации, которое может нести одно слово в естественном языке?

Для расчёта количества информации, которое может нести одно слово в естественном языке, используют алфавитный подход. znanio.ru multiurok.ru При этом подходе информацию рассматривают как последовательность символов определённой знаковой системы, отвлекаясь от её содержания. infourok.ru znanio.ru

Информационная ёмкость знаков зависит от их числа в алфавите (мощности алфавита): чем больше их число, тем большее количество информации несёт один знак. znanio.ru

Чтобы найти количество информации в сообщении, нужно умножить количество информации, которое несёт один знак, на число знаков в сообщении. znanio.ru multiurok.ru

Для расчёта используют формулу Хартли: N = 2I, где: znanio.ru

• N — количество знаков в алфавите (мощность алфавита); znanio.ru videouroki.net
• I — количество информации, которое несёт один знак. znanio.ru videouroki.net

Например, если считать, что в русском алфавите (без буквы «ё») количество событий (букв) равно 32, то по формуле 32 = 2I можно найти, что каждый символ несёт 5 битов информации. multiurok.ru

Чтобы найти количество информации во всём тексте, нужно посчитать число символов в нём и умножить на найденное значение. profbeckman.narod.ru multiurok.ru