【发布时间】:2021-10-24 15:48:21
【问题描述】:
我正在尝试传递在 Azure Synapse Spark 作业定义中的主 python 文件中引用的 python 文件的整个目录,但这些文件没有出现在该位置,并且我收到 Module Not Found 错误。尝试像这样上传:
abfss://[数据湖中的目录路径]/*
【问题讨论】:
标签: azure azure-synapse
我正在尝试传递在 Azure Synapse Spark 作业定义中的主 python 文件中引用的 python 文件的整个目录,但这些文件没有出现在该位置,并且我收到 Module Not Found 错误。尝试像这样上传:
abfss://[数据湖中的目录路径]/*
【问题讨论】:
标签: azure azure-synapse
在 Synapse 上实现此目的的方法是将您的 python 文件打包到一个 wheel 包中,然后将 wheel 包上传到一个 specific location Azure Data Lake Storage,您的火花池将在每次启动时加载它们。这将使自定义 python 包可用于使用该火花池的所有作业和笔记本。
您可以在官方文档中找到更多详细信息:https://docs.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-manage-python-packages#install-wheel-files
【讨论】: