Принцип экстенсивности энтропии для разных степеней свободы заключается в том, что энтропия пропорциональна размеру системы. 3 То есть энтропия является экстенсивным параметром. 3

Например, для энтропии Шеннона важно только общее состояние каждого транзистора в кремниевом кристалле (транзистор или открыт или нет, что соответствует 1 или 0 — простая двоичная степень свободы). 2 Термодинамическая энтропия, наоборот, зависит от состояний всех миллиардов атомов и электронов, составляющих каждый из транзисторов. 2

Таким образом, совместная энтропия служит мерой свободы системы: чем больше энтропия, тем больше состояний доступно системе, тем больше у неё степеней свободы. 5