Энтропия сохраняется при сжатии данных, потому что минимально возможный размер сжатого сообщения определяется непредсказуемостью его содержимого. 2

Энтропия в теории информации — это показатель «неожиданности» информации. 4 Чем более предсказуема информация, тем ниже её энтропия, и тем легче её сжать. 4

Например, если текст легко предсказать (низкая энтропия), то и кодировать его коротко легче. 2 Если же текст для модели неожиданен, его энтропия высока, и сжать его без потерь невозможно — придётся передавать много информации. 2