В чем разница между равномерными и неравномерными вероятностями при вычислении информации?

Разница между равномерными и неравномерными вероятностями при вычислении информации заключается в том, что в первом случае вероятности всех событий равны, а во втором — неравны. foxford.ru homepage.mi-ras.ru

При равномерных вероятностях вероятность наступления определённых событий равна числу нужных событий, делённому на полное число событий. foxford.ru Для вычисления количества информации в таком случае используют формулу, в которой может получиться нецелое количество бит. foxford.ru Если нужно оценить длину двоичного кода, кодирующего заданную информацию, полученное число округляют в большую сторону. foxford.ru

При неравномерных вероятностях для вычисления количества информации применяют формулу Шеннона. foxford.ru В ней учитываются различные вероятности сообщений в наборе. studfile.net Это полезно, когда в исходном тексте разные буквы встречаются с разной частотой. studfile.net Тогда часто встречающиеся символы кодируют более короткими словами, а редкие — более длинными. studfile.net