Некоторые подходы к оценке объёма текстовой информации:

1. Алфавитный подход. 12 В его основе лежит подсчёт числа символов в сообщении, при этом важна только длина текста, а его содержание не учитывается. 2 При таком подходе каждый символ текста несёт в себе определённую информационную ёмкость, которая зависит от мощности алфавита. 2
2. Комбинаторный подход (информация по Хартли). 3 Этот подход предложен Хартли в 1928 году и предполагает, что количеством информации является логарифм по основанию 2 от числа элементов в заданном конечном множестве. 3
3. Вероятностный подход (энтропия Шеннона). 3 Этот подход предложен Клодом Шенноном в 1948 году и предполагает рассмотрение вероятностного распределения на множестве и оценку среднего по распределению количества информации, которое содержит случайная величина. 3
4. Алгоритмический подход (колмогоровская сложность). 3 Этот подход позволяет измерять количество информации в конкретных объектах (строках), а не в случайных величинах. 3 При его применении к текстам количество информации зависит только от частот символов, но не зависит от их порядка. 3