Как работает дедупликация данных в TrueNAS SCALE?

Дедупликация данных в TrueNAS Scale работает на основе файловой системы ZFS. dzen.ru www.truenas.com Если несколько файлов содержат одинаковые фрагменты (блоки) данных или любые другие данные пула встречаются более одного раза, ZFS хранит только одну копию. www.truenas.com

Процесс происходит так: ZFS считает контрольные суммы записываемых блоков данных. vk.com Если находится совпадение, то блок не записывается на диск, вместо него добавляется указатель. vk.com

Пример работы: у двух пользователей настроена автоматическая синхронизация смартфонов с сервером, и все фотографии с телефона загружаются в облачное хранилище. dzen.ru Если у каждого из них в телефоне есть одна и та же фотография, которая будет загружена на сервер, то благодаря дедупликации каждая копия файла удаляется физически из хранилища, и место на диске используется рационально. dzen.ru

Важно: дедупликация в режиме реального времени работает довольно медленно: скорость записи может упасть в 3–5 раз, если речь идёт о достаточно быстром массиве и 10-гигабитной сети. vk.com xakep.ru