Вопросы к Поиску с Алисой
Энтропия сохраняется при сжатии данных, потому что минимально возможный размер сжатого сообщения определяется непредсказуемостью его содержимого. habr.com
Энтропия в теории информации — это показатель «неожиданности» информации. dzen.ru Чем более предсказуема информация, тем ниже её энтропия, и тем легче её сжать. dzen.ru
Например, если текст легко предсказать (низкая энтропия), то и кодировать его коротко легче. habr.com Если же текст для модели неожиданен, его энтропия высока, и сжать его без потерь невозможно — придётся передавать много информации. habr.com