В чем заключается разница между физической и информационной энтропией?

Разница между физической и информационной энтропией заключается в их определениях и сферах применения.

Физическая (термодинамическая) энтропия используется в физике и описывает степень необратимости, неидеальности реального термодинамического процесса. ru.ruwiki.ru Она является мерой диссипации (рассеивания) энергии, а также мерой оценки энергии в плане её пригодности для превращения теплоты в работу. ru.ruwiki.ru

Информационная энтропия применяется в теории информации и математической статистике. ru.ruwiki.ru Это мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче. ru.ruwiki.ru

Ещё одно различие заключается в том, что физическая энтропия выражается в одних единицах измерения, а информационная — в других. ai.spbstu.ru Физическая энтропия выражается отношением энергии к температуре, а информационная — числом битов. ai.spbstu.ru

При этом понятия физической и информационной энтропии имеют общий физический смысл — логарифм числа доступных состояний системы. ru.ruwiki.ru