В чем заключается связь между энтропией и информационной емкостью системы?

Связь между энтропией и информационной ёмкостью системы заключается в том, что от сообщения к сообщению увеличиваются упорядоченность и информация, которой мы располагаем о сообщении, а энтропия (мера неупорядоченности) уменьшается. 5

Информационная энтропия характеризует степень неупорядоченности символов генерируемого сообщения. 5 Чем больше количество состояний, в которых может находиться система, тем больше значение неопределённости (энтропии). 2 Все процессы упорядочивания системы приводят к появлению информации и снижению информационной неопределённости. 2

Согласно закону сохранения, количество детерминированной информации рассчитывается как разность между максимально возможной энтропией системы и некоторым текущим значением энтропии. 1 При этом информационная ёмкость любого уровня технологической системы, за исключением нулевого, всегда меньше максимально возможного и не может превзойти некоторое определённое для каждого уровня значение. 1