Какие существуют подходы к оценке объема текстовой информации?

Некоторые подходы к оценке объёма текстовой информации:

1. Алфавитный подход. www.homework.ru spravochnick.ru В его основе лежит подсчёт числа символов в сообщении, при этом важна только длина текста, а его содержание не учитывается. spravochnick.ru При таком подходе каждый символ текста несёт в себе определённую информационную ёмкость, которая зависит от мощности алфавита. spravochnick.ru
2. Комбинаторный подход (информация по Хартли). habr.com Этот подход предложен Хартли в 1928 году и предполагает, что количеством информации является логарифм по основанию 2 от числа элементов в заданном конечном множестве. habr.com
3. Вероятностный подход (энтропия Шеннона). habr.com Этот подход предложен Клодом Шенноном в 1948 году и предполагает рассмотрение вероятностного распределения на множестве и оценку среднего по распределению количества информации, которое содержит случайная величина. habr.com
4. Алгоритмический подход (колмогоровская сложность). habr.com Этот подход позволяет измерять количество информации в конкретных объектах (строках), а не в случайных величинах. habr.com При его применении к текстам количество информации зависит только от частот символов, но не зависит от их порядка. habr.com