Первоначальное понимание сообщения в кибернетике и теории информации было связано с передачей сведений от одного человека к другому с помощью устной или письменной речи, условных знаков (символов) посредством специальных передающих и принимающих устройств. 2 Такое понимание сохранялось вплоть до середины XX века. 1

С появлением и развитием кибернетики информация стала одной из центральных категорий её понятийного аппарата, наряду с такими понятиями, как управление и связь. 1 Основоположник кибернетики Норберт Винер говорил об информации так: «Информация — это обозначение содержания, полученное из внешнего мира в процессе приспосабливания к нему человека и его чувств». 5

Развитие технических средств массовых коммуникаций (телефон, телеграф, радио, телевидение, компьютерные системы и т. д.) обусловило лавинообразный рост объёмов передаваемых сообщений. 1 Это привело к необходимости оценки различных характеристик информации и, в частности, её объёма. 1

В 1949 году К. Шенноном и У. Уивером была создана первая математическая теория информации, в основу которой были положены вероятностные представления о природе информации. 1 Под информацией понимались не произвольные сообщения, которыми обмениваются люди, а лишь такие, которые уменьшают неопределённость у получателя информации. 2

Английский кибернетиком и биологом У.Р. Эшби было предложено определение информации на основании категории разнообразия: «Информация существует там, где есть разнообразие». 2 За простейшую единицу измерения количества информации приняли различие двух объектов или элементарное различие: два различных объекта несут 1 бит информации. 2