В чем заключается разница между энтропией Хартли и энтропией Шеннона?

Разница между энтропией Хартли и энтропией Шеннона заключается в подходах к измерению количества информации. habr.com lc.kubagro.ru

Энтропия Хартли основана на теории множеств и комбинаторике. lc.kubagro.ru Каждый символ сообщения имеет определённый информационный вес — несёт фиксированное количество информации. moodle.kstu.ru Формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов этого сообщения равновероятно и они статистически независимы. www.miigaik.ru

Энтропия Шеннона основана на теории вероятностей. lc.kubagro.ru Вероятностный подход Шеннона обобщает меру количества информации по Хартли на случай, когда не все элементы множества являются равнозначными, а также с учётом влияния шума в канале связи. habr.com Энтропия Шеннона оценивает среднее количество информации, которое содержится в значениях случайной величины. habr.com

Таким образом, энтропия Хартли ориентирована на определённый случай, а энтропия Шеннона — на более широкий спектр ситуаций, где различные события могут иметь разные вероятности появления. www.miigaik.ru lc.kubagro.ru