Какие существуют методы эффективного поиска пересечений в больших множествах данных?

Некоторые методы эффективного поиска пересечений в больших множествах данных:

• Подсчёт количества элементов во всех множествах. stackoverflow.com Затем находят значения с высокой частотой. stackoverflow.com Длинные пересечения обычно содержат общие элементы, которые встречаются во многих множествах, и другие элементы, которые отображаются реже. stackoverflow.com
• Использование структуры данных, где каждый массив представлен в виде отсортированного списка целых чисел. stackoverflow.com В таком случае можно применить быстрый алгоритм для вычисления пересечения. stackoverflow.com
• Применение подхода MapReduce. stackoverflow.com Если есть категории, например город, улица, доход, то можно использовать этот метод, сделав кортеж ключом для редуктора. stackoverflow.com
• Использование алгоритмов, которые учитывают особенности данных. moluch.ru Например, для работы с векторными данными, содержащими большое число контуров простой структуры, используют алгоритмы триангуляции, Леонова и Ватти. moluch.ru
• Применение скан-линейного метода. moluch.ru Идея метода в том, что каждый из аргументов представлен множеством отдельных контуров, но не каждый контур пересекает хотя бы один контур и наоборот. moluch.ru Тогда каждый операнд можно разбить на два подмножества: активное и пассивное. moluch.ru Пассивные части операндов исключаются из выполнения скан-линейной процедуры и могут быть добавлены к результату. moluch.ru

Пользователь

Время добавления