Если Python 3 UDF не знает библиотеку, можно попробовать решить проблему следующими способами:
- Проверить установку библиотеки. 34 Для этого можно использовать менеджер пакетов, например, pip. 5 Например, для установки библиотеки нужно выполнить команду
pip install package_name
. 5 Для обновления пакета — pip install -U PackageName
. 5 - Проверить версию Python. 4 Если библиотека не поддерживает текущую версию, можно попробовать установить более старую. 4
- Проверить вложенность подпакетов. 1 Если подпакет вложен ниже других пакетов и на него ссылаются непосредственно в коде, можно создать отдельный zip-файл для модуля подпакета и добавить его с помощью
addPyFile
в контекст Spark. 1
Если проблема сохраняется, рекомендуется обратиться за дополнительной помощью к специалисту.