Разница между информацией и энтропией в теории связи заключается в следующем:
- Информация в теории связи — это любая последовательность символов, не учитывая их смысл. 2 Это сведения об объектах окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределённости, неполноты знаний. 2
- Энтропия — это мера хаотичности информации или мера внутренней неупорядоченности информационной системы. 3 Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. 3
Таким образом, информация характеризует степень зависимости некоторых переменных, а энтропия — меру неопределённости некоторой ситуации. 35