Принцип энтропии при кодировании информации заключается в кодировании последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма данных (длины последовательности) с помощью усреднения вероятностей появления элементов в закодированной последовательности. 12

Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. 1 После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы (энтропия на символ максимальна). 1

Согласно теореме Шеннона, существует предел сжатия без потерь, зависящий от энтропии источника. 1 Чем более предсказуемы получаемые данные, тем лучше их можно сжать. 1 Случайная независимая равновероятная последовательность сжатию без потерь не поддаётся. 1