Почему редкие события содержат больше информации, чем частые?

Редкие события содержат больше информации, чем частые, из-за их непредсказуемости. hightech.fm

Чем менее вероятно событие, тем более «ценно» оно с точки зрения информации. maximumtest.ru Это связано с понятием энтропии — мерой неопределённости или случайности. silvertests.ru Чем выше энтропия, тем больше информации можно извлечь из системы. silvertests.ru

Например, сообщение о встрече с крокодилом имеет большую информационную ценность, чем о чёрной вороне, так как встреча с крокодилом — редкое событие, его предсказуемость очень мала. hightech.fm