В чем заключается связь между энтропией и информационной емкостью системы?

Связь между энтропией и информационной ёмкостью системы заключается в том, что от сообщения к сообщению увеличиваются упорядоченность и информация, которой мы располагаем о сообщении, а энтропия (мера неупорядоченности) уменьшается. www.miigaik.ru

Информационная энтропия характеризует степень неупорядоченности символов генерируемого сообщения. www.miigaik.ru Чем больше количество состояний, в которых может находиться система, тем больше значение неопределённости (энтропии). moodle.kstu.ru Все процессы упорядочивания системы приводят к появлению информации и снижению информационной неопределённости. moodle.kstu.ru

Согласно закону сохранения, количество детерминированной информации рассчитывается как разность между максимально возможной энтропией системы и некоторым текущим значением энтропии. scienceforum.ru При этом информационная ёмкость любого уровня технологической системы, за исключением нулевого, всегда меньше максимально возможного и не может превзойти некоторое определённое для каждого уровня значение. scienceforum.ru