Какие существуют алгоритмы обнаружения дубликатов в файлах?

Некоторые алгоритмы обнаружения дубликатов в файлах:

• Сравнение размеров и сигнатур файлов. 3 Например, программа fdupes ищет дубликаты, сравнивая размеры файлов и сигнатуры MD5, а затем проводя побайтовое сравнение. 34
• Сравнение контрольных сумм. 5 Этот метод предполагает сравнение файлов по содержимому. 5 Если в множестве вычисленных контрольных сумм есть контрольная сумма для нового файла, то он считается дубликатом, если нет — то нет. 5
• Алгоритм нечеткого сопоставления. 4 Например, программа dupeGuru использует этот алгоритм для сканирования имён или содержимого файлов и быстрого поиска дубликатов. 4

Для поиска дубликатов файлов также используют различные программы, например: FSLint, Czkawka, FuzzyFinder. 3