Как теория информации Шеннона связана с понятием энтропии в термодинамике?

Теория информации Шеннона связана с понятием энтропии в термодинамике через формальное сходство математических формул. 5

В термодинамике энтропия — величина, которая характеризует энергетическое состояние системы. 5 Шеннон в теории информации использовал понятие энтропии, основываясь на сходстве математических формул, полученных в математике для марковских цепей и формулы энтропии Больцмана. 5

Однако определения энтропии в теории информации и в термодинамике различаются: в термодинамике — это степень рассеивания энергии в системе, а в теории информации — мера непредсказуемости данных. 2

Таким образом, если в термодинамике энтропия описывает физическое состояние системы, то в теории информации — информационное, и понятие энтропии характеризует разные процессы: в термодинамике — энергетические процессы, в теории информации — вероятности событий. 5