Почему энтропия играет ключевую роль в теории информации?

Энтропия играет ключевую роль в теории информации, потому что это мера неопределённости некоторой системы. 35 В частности, непредсказуемость появления какого-либо символа первичного алфавита. 5

Чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т. д.). 2 При этом чем более непредсказуемо сообщение (тем больше его энтропия, потому что меньше вероятность), тем больше информации оно несёт. 1

Кроме того, энтропия выступает как разница между информацией, присутствующей в сообщении, и той частью информации, которая является точно известной (или хорошо предсказуемой) в сообщении. 3

Впервые понятие энтропии как меры информации было введено К. Шенноном в 1948 году. 4