Энтропия влияет на эффективность сжатия данных следующим образом: чем больше энтропия системы, тем сложнее в ней выделить какие-либо закономерности. 2 Если же таких закономерностей нет, «ужать» информацию о системе без потерь невозможно. 2
Например, алгоритмы сжатия данных, использующие метод арифметического кодирования, перед кодированием формируют модель входных данных на основании количественных или статистических характеристик, а также найденных в кодируемой последовательности повторений или паттернов. 1 Чем точнее определена или предсказана вероятность символа, тем выше эффективность сжатия. 1
Также существует метод, согласно которому энтропия системы пропорциональна степени, до которой можно без потерь сжать строку символов, полностью описывающую заданную конфигурацию. 2