Что такое энтропия и чем она отличается от информации?

Энтропия — это мера хаотичности информации или внутренней неупорядоченности информационной системы. profbeckman.narod.ru Она увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. profbeckman.narod.ru

От информации энтропия отличается следующим образом:

• Информация — это характеристика степени зависимости некоторых переменных. profbeckman.narod.ru Если корреляция характеризует лишь линейную связь переменных, то информация характеризует любую связь. profbeckman.narod.ru

• Информацию можно рассматривать как отрицательную энтропию. profbeckman.narod.ru Тогда энтропия и информация смотрятся как понятия одного уровня. profbeckman.narod.ru Однако это не так: в отличие от энтропии информация — общенаучное понятие, приближающееся по своему значению к философской категории. profbeckman.narod.ru

Таким образом, получение информации необходимо для снятия неопределённости. profbeckman.narod.ru Чем больше объём полученных сведений, тем больше будет информация о системе, тем менее неопределённым будет её состояние. npo-rit.ru