Почему важна вероятность символов при вычислении информационной энтропии?

Вероятность символов важна при вычислении информационной энтропии, потому что она позволяет определить степень непредсказуемости или неопределённости системы. moodle.kstu.ru ru.ruwiki.ru

Энтропия — мера разницы между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. ru.ruwiki.ru Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. ru.ruwiki.ru ru.wikipedia.org

Ещё несколько причин важности вероятности символов при вычислении информационной энтропии:

• Кодирование информации. habr.com Часто встречающиеся буквы кодируют меньшим количеством битов, а редко встречающиеся — большим. habr.com
• Расшифровка закодированного текста. moodle.kstu.ru Анализируя вероятность появления символов и их показатель энтропии, можно расшифровать закодированный текст. moodle.kstu.ru
• Определение пропускной способности канала. moodle.kstu.ru ru.ruwiki.ru С помощью энтропии можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации. moodle.kstu.ru