В чем заключается разница между энтропией Хартли и энтропией Шеннона?

Разница между энтропией Хартли и энтропией Шеннона заключается в подходах к измерению количества информации. habr.com {6-host}

Энтропия Хартли основана на теории множеств и комбинаторике. {6-host} Каждый символ сообщения имеет определённый информационный вес — несёт фиксированное количество информации. {9-host} Формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов этого сообщения равновероятно и они статистически независимы. www.miigaik.ru

Энтропия Шеннона основана на теории вероятностей. {6-host} Вероятностный подход Шеннона обобщает меру количества информации по Хартли на случай, когда не все элементы множества являются равнозначными, а также с учётом влияния шума в канале связи. habr.com Энтропия Шеннона оценивает среднее количество информации, которое содержится в значениях случайной величины. habr.com

Таким образом, энтропия Хартли ориентирована на определённый случай, а энтропия Шеннона — на более широкий спектр ситуаций, где различные события могут иметь разные вероятности появления. www.miigaik.ru {6-host}