Разница между энтропией Хартли и энтропией Шеннона заключается в подходах к измерению количества информации. 26

Энтропия Хартли основана на теории множеств и комбинаторике. 6 Каждый символ сообщения имеет определённый информационный вес — несёт фиксированное количество информации. 9 Формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов этого сообщения равновероятно и они статистически независимы. 4

Энтропия Шеннона основана на теории вероятностей. 6 Вероятностный подход Шеннона обобщает меру количества информации по Хартли на случай, когда не все элементы множества являются равнозначными, а также с учётом влияния шума в канале связи. 2 Энтропия Шеннона оценивает среднее количество информации, которое содержится в значениях случайной величины. 2

Таким образом, энтропия Хартли ориентирована на определённый случай, а энтропия Шеннона — на более широкий спектр ситуаций, где различные события могут иметь разные вероятности появления. 46