Как измеряется количество информации в теории связи?

Количество информации в теории связи измеряется с помощью разных подходов, среди которых выделяют алфавитный (объёмный), содержательный и вероятностный. ru.ruwiki.ru

Алфавитный подход рассматривает информацию как последовательность символов некоторого алфавита. ru.ruwiki.ru Для вычисления количества информации используют формулу Хартли, которая устанавливает связь между количеством возможных состояний объекта и количеством информации, необходимой для его описания. ru.ruwiki.ru

Содержательный подход рассматривает информацию с точки зрения её содержания, понятности и новизны для человека. ru.ruwiki.ru По определению К. Шеннона, информация — это снятая неопределённость. ru.ruwiki.ru Величина неопределённости некоторого события — это количество возможных результатов (исходов) данного события. ru.ruwiki.ru Сообщение, уменьшающее неопределённость знания в 2 раза, несёт 1 бит информации. ru.ruwiki.ru

Вероятностный подход применяют, когда возможные события имеют различные вероятности реализации. ru.ruwiki.ru В этом случае количество информации определяют по формуле Шеннона. ru.ruwiki.ru Для использования данного метода необходимо знать вероятности появления каждого символа в сообщении. ru.ruwiki.ru Затем эти вероятности подставляют в формулу Шеннона и выполняют вычисления. ru.ruwiki.ru

В качестве единицы информации Клод Шеннон предложил принять бит — количество информации, необходимое для различения двух равновероятных сообщений. book.kbsu.ru mif.vspu.ru На практике чаще применяют более крупную единицу — байт, равную восьми битам. book.kbsu.ru mif.vspu.ru Также используют производные единицы информации: килобайты, мегабайты, гигабайты и другие. book.kbsu.ru ru.ruwiki.ru