Некоторые ключевые отличия между формулами Хартли и Шеннона:
- Условия применения: формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов этого сообщения равновероятно и они статистически независимы. 2 Формула Шеннона предназначена для случаев, когда есть сообщения с неодинаковой вероятностью. 4
- Учёт различных состояний: формула Хартли не учитывает различимость рассматриваемых состояний системы. 3 Формула Шеннона, в отличие от Хартли, учитывает различность и разновероятность состояний, имеет статистический характер и учитывает структуру сообщений. 13
- Отвлечённость от смысла информации: формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы. 3 Формула Шеннона даёт оценку информации независимо, отвлечённо от её смысла. 3
При этом формулу Хартли можно рассматривать как частный случай формулы Шеннона: если вероятности сообщений в наборе равны, то формула Шеннона превращается в формулу Хартли. 45