В чем преимущества и недостатки метода локально-чувствительного хеширования в дедупликации данных?

Преимущества метода локально-чувствительного хеширования (LSH) в дедупликации данных:

• Сокращение количества сравнений. mattilyra.github.io Похожие документы с высокой вероятностью имеют одинаковое значение хеш-функции. mattilyra.github.io Это позволяет искать дубликаты, сравнивая только документы, содержащиеся в одном сегменте, а не каждый документ по отдельности. mattilyra.github.io
• Сохранение локальных отношений данных. mattilyra.github.io При этом значительно снижается размерность набора данных. mattilyra.github.io
• Возможность работы с данными высокой размерности. www.hse.ru LSH хорошо показывает себя в таких условиях. www.hse.ru

Некоторые недостатки метода:

• Замедление работы. www.hse.ru Это происходит, например, при размерности 8, что связано с ростом количества корзин, необходимых для данной размерности. www.hse.ru
• Неподходящая работа с короткими документами. mattilyra.github.io Например, с твитами. mattilyra.github.io
• Неэффективная работа с перефразированными предложениями или документами. mattilyra.github.io Семантика перефразированной или обобщённой информации не меняется, но представление символов — да. mattilyra.github.io