Энтропия связана с передачей информации в телекоммуникациях тем, что её минимизация позволяет улучшить передачу данных, устраняя шум. 1

Энтропия — мера неопределённости системы, в частности, непредсказуемости появления какого-либо символа первичного алфавита. 2 При отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. 2