Вероятность символов важна при вычислении информационной энтропии, потому что она позволяет определить степень непредсказуемости или неопределённости системы. 24

Энтропия — мера разницы между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. 4 Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. 45

Ещё несколько причин важности вероятности символов при вычислении информационной энтропии:

• Кодирование информации. 1 Часто встречающиеся буквы кодируют меньшим количеством битов, а редко встречающиеся — большим. 1
• Расшифровка закодированного текста. 2 Анализируя вероятность появления символов и их показатель энтропии, можно расшифровать закодированный текст. 2
• Определение пропускной способности канала. 24 С помощью энтропии можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации. 2