Почему энтропия играет ключевую роль в теории информации?

Энтропия играет ключевую роль в теории информации, потому что это мера неопределённости некоторой системы. spravochnick.ru ru.wikipedia.org В частности, непредсказуемость появления какого-либо символа первичного алфавита. ru.wikipedia.org

Чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т. д.). nuancesprog.ru При этом чем более непредсказуемо сообщение (тем больше его энтропия, потому что меньше вероятность), тем больше информации оно несёт. hightech.fm

Кроме того, энтропия выступает как разница между информацией, присутствующей в сообщении, и той частью информации, которая является точно известной (или хорошо предсказуемой) в сообщении. spravochnick.ru

Впервые понятие энтропии как меры информации было введено К. Шенноном в 1948 году. wiki.loginom.ru