Формулы Шеннона и Хартли различаются подходом к определению количества информации. 410

Формула Хартли рассматривает процесс получения информации как выбор одного сообщения из конечного заданного множества N равновероятных событий. 14 Количество информации I, содержащееся в выбранном сообщении, определяется как двоичный логарифм N (формула Хартли: I = log2N). 4

Формула Шеннона учитывает возможную неодинаковую вероятность событий в наборе. 14 Она предполагает, что количество информации для событий с различными вероятностями можно определить по формуле: I = - Sum рi log2 рi, где I — количество информации, К — количество возможных событий, рi — вероятности отдельных событий. 2

Таким образом, формула Хартли применяется для равновероятных событий, а формула Шеннона — для событий с различными вероятностями. 17