Почему формула Шеннона используется для расчета информационной емкости сообщений?

Формула Шеннона используется для расчёта информационной ёмкости сообщений, потому что она способна учитывать возможную неодинаковую вероятность сообщений, содержащихся в наборе. spravochnick.ru

При создании формулы учёный Клод Шеннон использовал вероятностную меру неопределённости (энтропию) для того, чтобы в полной мере оценить состояние изучаемой системы и получить максимально возможную информацию о протекающих в этой системе процессах. spravochnick.ru

Формула Шеннона показывает, что чем сложнее предсказать исход события, тем больше информации оно несёт. habr.com Например, если событие редкое и непредсказуемое, мы называем его новостью и наделяем информационной ценностью. habr.com Если же оно повторяется часто и о нём постоянно рассказывают, его информационная ценность теряется. habr.com