Почему энтропия является основной характеристикой информационной неопределенности?

Энтропия является основной характеристикой информационной неопределённости, потому что она отражает непредсказуемость сообщения. hightech.fm ru.ruwiki.ru

Чем более непредсказуемо сообщение (тем больше его энтропия, потому что меньше вероятность), тем больше информации оно несёт. hightech.fm Например, случайная последовательность символов имеет высокую энтропию, потому что допускает много способов расположения этих символов. habr.com Сообщение, подчиняющееся строгому шаблону, имеет низкую энтропию. habr.com

Кроме того, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. ru.ruwiki.ru

Концепция информационной энтропии была введена Клодом Шенноном, который предположил, что прирост информации равен утраченной неопределённости. en.wikipedia.org ru.ruwiki.ru