Принцип работы алгоритмов сжатия данных при хранении информации заключается в устранении избыточности, содержащейся в исходных данных. 14

Простейший пример избыточности — повторение в тексте фрагментов (например, слов естественного или машинного языка). 1 Подобная избыточность обычно устраняется заменой повторяющейся последовательности ссылкой на уже закодированный фрагмент с указанием его длины. 1

Другой вид избыточности связан с тем, что некоторые значения в сжимаемых данных встречаются чаще других. 1 Сокращение объёма данных достигается за счёт замены часто встречающихся данных короткими кодовыми словами, а редких — длинными (энтропийное кодирование). 1

В основе любого способа сжатия лежит модель источника данных, или, точнее, модель избыточности. 13 Иными словами, для сжатия данных используются некоторые априорные сведения о том, какого рода данные сжимаются. 3