Как работает left anti join в Apache Spark?

Left anti join в Apache Spark возвращает все строки из левого набора данных, которые не имеют соответствующего совпадения в правом наборе данных. sparktpoint.com iomete.com

Другими словами, он фильтрует строки из левой таблицы, которые исключаются при использовании левого внешнего соединения. sparktpoint.com

Left anti join особенно полезен, когда нужно выявить различия между двумя наборами данных или найти записи, которые принадлежат только одному из них. sparktpoint.com

Некоторые ситуации, в которых используют left anti join:

• поиск строк, которые существуют в одном наборе данных, но не в другом; sparktpoint.com
• проверка данных, чтобы убедиться, что определённые записи удалены или отфильтрованы; sparktpoint.com
• анализ различий между наборами данных во время согласования данных или аудита; sparktpoint.com
• фильтрация ранее обработанных записей в конвейерах обработки данных. sparktpoint.com