Информационная энтропия связана с квантовой физикой и термодинамикой через понятие энтропии. 23 Есть несколько разных подходов к этому термину: 3

• Термодинамическая энтропия (Больцмановская энтропия) — мера числа микросостояний, соответствующих заданному макросостоянию системы. 3
• Информационная энтропия (энтропия Шеннона) — мера неопределённости или количества информации в данных. 3
• Квантовая энтропия (энтропия фон Неймана) — обобщение информационной энтропии для квантовых состояний, характеризует их степень запутанности. 3

Связь между понятиями заключается в том, что изменение порядка в любой системе возможно через энергию (термодинамика) и через информацию (упорядочивание, уменьшение и структурирование числа состояний). 2

Например, когда доступна информация о состоянии системы, энтропия стремится к нулю, так как система находится лишь в одном определённом состоянии из всего многообразия возможных. 5 И наоборот, если информация утрачивается, а система начинает заполнять больший объём, то энтропия растёт. 5

Таким образом, чем больше известно о физической системе, тем меньше её энтропия. 5