Суть вероятностного подхода к определению количества информации заключается в том, что количество информации — это мера уменьшения неопределённости знаний при получении информационных сообщений. 1 Количество информации в сообщении определяется тем, насколько уменьшается эта мера после получения сообщения. 1

В вероятностном подходе 1 бит — это количество информации, которое человек получает из опыта с двумя равновероятностными исходами. 1 Например, сообщение о том, что выпал орёл при подбрасывании монеты, уменьшает неопределённость в два раза и несёт в себе 1 бит информации. 1

Вероятностный подход к измерению количества информации применяют, когда возможные события имеют различные вероятности реализации. 2 В этом случае количество информации определяют по формуле Шеннона, которая учитывает возможную неодинаковую вероятность сообщений. 23