В чём заключается принцип энтропии в теории информации?

Принцип энтропии в теории информации заключается в измерении неопределённости какой-либо системы, в частности непредсказуемости появления какого-либо символа первичного алфавита. ru.ruwiki.ru spravochnick.ru

Некоторые особенности принципа энтропии:

• Высокий уровень энтропии указывает на высокий уровень неопределённости информации, или, на практике, на большее число возможных выводов функции. dzen.ru
• Энтропия минимальна, когда известно точное значение символа, например, когда исход опыта достоверен. dzen.ru bigenc.ru
• Энтропия максимальна, когда символ может в равной степени иметь множество значений (равномерное распределение). dzen.ru
• Энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. ru.ruwiki.ru tema.spbstu.ru

Единицей измерения информационной энтропии для систем, основанных на двоичной системе счисления, является бит. ru.ruwiki.ru