Информационная энтропия является фундаментальным понятием в области информационной теории, потому что она служит мерой неопределённости или случайности данных, поступающих из определённого источника. 4

В отличие от физической энтропии, которая описывает уровень беспорядка в термодинамических системах, информационная энтропия фокусируется на количестве информации, содержащейся в сообщении. 4

Кроме того, энтропия Шеннона представляет собой фундаментальный предел, насколько можно сжать сообщение без риска искажения, то есть максимально достижимые возможности кодирования без потерь. 1

Концепция информационной энтропии была введена Клодом Шенноном в его статье 1948 года «Математическая теория коммуникации». 3