К. Шеннон определял информативность сообщения как содержащуюся в нём полезную информацию — ту часть сообщения, которая снимает полностью или уменьшает неопределённость какой-либо ситуации. 14 Неопределённость некоторого события — это количество возможных исходов данного события. 1

А. Н. Колмогоров определял информативность сообщения как минимально необходимое количество символов для его кодирования. 24 При этом информативность последовательности символов не зависит от содержания сообщения, а алфавитный подход является объективным, то есть не зависит от субъекта, воспринимающего сообщение. 1

Таким образом, Шеннон рассматривал информативность сообщения с содержательной стороны, оценивая полезную информацию, а Колмогоров — с алфавитной, определяя объём информации по минимально необходимому количеству символов для кодирования сообщения. 12