Минимальная пропускная способность канала равна информационной энтропии источника, потому что энтропия позволяет определить требования к минимальной пропускной способности канала, необходимой для надёжной передачи информации в виде закодированных двоичных чисел. 12

Информационная энтропия — мера неопределённости некоторой системы, в частности, непредсказуемости появления какого-либо символа первичного алфавита. 12 При отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. 12

С помощью информационной непредсказуемости можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации. 3