Принцип информационной энтропии при расчёте информационного веса символа заключается в том, что чем меньше вероятность появления какого-либо символа, тем больше его информационная энтропия. 12
Информационная энтропия — это мера хаотичности информации, неопределённость появления символа в сообщении. 12