привет, а если python3 udf не знает библиотеку, с этим можно что-то сделать?

Если Python 3 UDF не знает библиотеку, можно попробовать решить проблему следующими способами:

• Проверить установку библиотеки. ru.stackoverflow.com otvet.mail.ru Для этого можно использовать менеджер пакетов, например, pip. skillbox.ru Например, для установки библиотеки нужно выполнить команду pip install package_name. skillbox.ru Для обновления пакета —  pip install -U PackageName. skillbox.ru
• Проверить версию Python. otvet.mail.ru Если библиотека не поддерживает текущую версию, можно попробовать установить более старую. otvet.mail.ru
• Проверить вложенность подпакетов. stackoverflow.com Если подпакет вложен ниже других пакетов и на него ссылаются непосредственно в коде, можно создать отдельный zip-файл для модуля подпакета и добавить его с помощью addPyFile в контекст Spark. stackoverflow.com

Если проблема сохраняется, рекомендуется обратиться за дополнительной помощью к специалисту.