Чем отличается алгоритм CDC от стандартного rsync?

Алгоритм CDC (Content Defined Chunking) отличается от стандартного rsync тем, что он использует блоки переменного размера. habr.com github.com

В стандартном rsync при сравнении копий файла применяется скользящее окно фиксированного размера. habr.com Если файл изменён в середине, то изменяются все фрагменты. github.com github.com

Алгоритм CDC, в свою очередь, определяет границы блоков в зависимости от содержимого файла. habr.com github.com Если файл изменён в середине, то меняются только изменённые фрагменты, но не последующие (если только они не находятся на расстоянии менее 64 байт от места внесения изменений). github.com github.com

Благодаря такой оптимизации алгоритм CDC работает быстрее, чем стандартный rsync. habr.com github.com По внутренним тестам Google, алгоритм CDC работает примерно в 30 раз быстрее, чем rsync. habr.com