Формула Шеннона используется для расчёта информационной ёмкости сообщений, потому что она способна учитывать возможную неодинаковую вероятность сообщений, содержащихся в наборе. 3

При создании формулы учёный Клод Шеннон использовал вероятностную меру неопределённости (энтропию) для того, чтобы в полной мере оценить состояние изучаемой системы и получить максимально возможную информацию о протекающих в этой системе процессах. 3

Формула Шеннона показывает, что чем сложнее предсказать исход события, тем больше информации оно несёт. 1 Например, если событие редкое и непредсказуемое, мы называем его новостью и наделяем информационной ценностью. 1 Если же оно повторяется часто и о нём постоянно рассказывают, его информационная ценность теряется. 1