Разница между методами distinct() и count() в PySpark заключается в их функциях:

• distinct() удаляет все повторяющиеся значения или записи, проверяя все столбцы строки из DataFrame. 1
• count() возвращает количество записей в DataFrame. 1

Таким образом, distinct() фокусируется на удалении дубликатов, а count() — на подсчёте общего числа записей.

Чтобы посчитать уникальные значения, можно соединить эти две функции: distinct().count(). 12