Информационная энтропия — мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. 4
При отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. 4
Впервые понятие энтропии как меры информации было введено К. Шенноном в 1948 году. 3