Как измеряется информационная энтропия в системах с ограниченными состояниями?

Информационная энтропия в системах с ограниченными состояниями измеряется через число возможных состояний источника и вероятности его перехода в эти состояния. intuit.ru

Энтропия вычисляется по формуле: H = −n∑i=1PilogPi, где: wiki.loginom.ru

• Pi — вероятность i-го состояния системы (значения принимаемого переменной); wiki.loginom.ru
• n — число состояний системы (значений, принимаемых переменной). wiki.loginom.ru

Энтропия измеряется в битах, натах или дитах (десятичных числах) в зависимости от основания логарифма, используемого при вычислении энтропии. wiki.loginom.ru

Например, энтропия события — броска монеты — равна 1 биту, а энтропия m бросков составит m бит. wiki.loginom.ru