Размер файла может уменьшаться при сжатии данных за счёт минимизации избыточных данных. 5

Простейший пример избыточности — повторение в тексте фрагментов (например, слов естественного или машинного языка). 1 Подобная избыточность устраняется заменой повторяющейся последовательности ссылкой на уже закодированный фрагмент с указанием его длины. 1

Другой вид избыточности связан с тем, что некоторые значения в сжимаемых данных встречаются чаще других. 1 Сокращение объёма данных достигается за счёт замены часто встречающихся данных короткими кодовыми словами, а редких — длинными. 1

Например, алгоритм Хаффмана разбивает файл на фрагменты и смотрит, насколько часто встречается каждый из них. 2 Самые частые слова алгоритм обозначает коротким кодом, а самые редкие — кодом подлиннее. 2 Так как самые частые слова занимают теперь гораздо меньше места, то и готовый файл становится меньше. 2