Каковы преимущества и недостатки использования формулы Хартли для измерения информационной энтропии?

Преимущества использования формулы Хартли для измерения информационной энтропии:

• Позволяет определить количество информации в сообщении для случая, когда появление символов равновероятно и они статистически независимы. www.securitylab.ru
• Даёт возможность измерить информацию, приходящуюся на одно сообщение, с помощью логарифма общего числа возможных сообщений. www.securitylab.ru
• При наличии независимых источников информации количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь. www.securitylab.ru

Недостатки использования формулы Хартли для измерения информационной энтропии:

• Не работает, если вероятность сообщений различна. studfile.net
• Не учитывает фактор неожиданности сообщения для получателя, который зависит от вероятности его получения. www.securitylab.ru Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. www.securitylab.ru
• Не подходит для алфавита, состоящего из одного символа, так как в этом случае неопределённости не существует и появление такого символа не несёт никакой информации. www.securitylab.ru