Как измеряется информационная энтропия в системах с ограниченными состояниями?

Информационная энтропия в системах с ограниченными состояниями измеряется через число возможных состояний источника и вероятности его перехода в эти состояния. 1

Энтропия вычисляется по формуле: H = −n∑i=1PilogPi, где: 2

• Pi — вероятность i-го состояния системы (значения принимаемого переменной); 2
• n — число состояний системы (значений, принимаемых переменной). 2

Энтропия измеряется в битах, натах или дитах (десятичных числах) в зависимости от основания логарифма, используемого при вычислении энтропии. 2

Например, энтропия события — броска монеты — равна 1 биту, а энтропия m бросков составит m бит. 2