Как концепция энтропии Шеннона повлияла на развитие информационных технологий?

Концепция энтропии Шеннона оказала значительное влияние на развитие информационных технологий. begemot.ai

Вот некоторые способы:

• Позволила измерять информацию. hightech.fm С помощью энтропии можно оценивать такие характеристики, как пропускная способность каналов или оптимальность кодирования. hightech.fm
• Стала основой для разработки двух основных направлений. ru.wikipedia.org Теория информации использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, а теория кодирования — алгебраические и геометрические инструменты для разработки эффективных кодов. ru.wikipedia.org
• Помогла определить предел сжатия сообщения. habr.com Энтропия Шеннона — фундаментальный предел, насколько можно сжать сообщение без риска искажения, то есть максимально достижимые возможности кодирования без потерь. habr.com
• Позволила использовать избыточность кода. hightech.fm habr.com Например, передавать вместе с сообщением его контрольную сумму — специально вычисленное значение, которое можно проверить при получении сообщения. hightech.fm Если переданная контрольная сумма совпадет с вычисленной, вероятность того, что передача прошла без ошибок, будет довольно высока. hightech.fm

Наследие Клода Шеннона продолжает влиять на современные подходы к безопасности данных и улучшению качества связи. begemot.ai