Azure Databricks - 从 Gen2 Data Lake Storage 运行 Spark Jar

Question

我正在尝试从 Azure Databrics 运行 spark-submit。目前我可以创建一个作业，将 jar 上传到 Databrics 工作区中，然后运行它。

我的查询是：

1. 有没有办法访问 GEN2 DataLake 存储上的 jar 并从 Databrics 工作区甚至从 Azure ADF 进行 spark-submit？ （因为工作区和 GEN2 存储之间的通信受到保护“fs.azure.account.key”）

2. 有没有办法从 databrics 笔记本进行 spark-submit？

Answer 1

有没有办法访问驻留在 GEN2 DataLake 存储和 从 Databrics 工作区，甚至从 Azure ADF 进行 spark-submit？ （因为工作区和 GEN2 存储之间的通信是 protected "fs.azure.account.key") 不幸的是，您无法访问 jar 驻留在 Azure 存储上，例如 ADLS Gen2/Gen1 帐户。

注意： --jars、--py-files、--files 参数支持 DBFS 和 S3 路径。

Jar 库通常存储在 dbfs:/FileStore/jars 下。

您需要在dbfs中上传库并作为jar活动中的参数传递。

更多详情请参考“Transform data by running a jar activity in Azure Databricks using ADF”。

有没有办法从 databricks 笔记本进行 spark-submit？

要回答第二个问题，您可以参考以下职位类型：

参考：SparkSubmit 和“Create a job”

希望这会有所帮助。

---

如果这回答了您的问题，请点击“标记为答案”和“投票”。如果您有任何进一步的疑问，请告诉我们。

Answer 2

最后我想出了如何运行它：

1. 您可以从 ADF 运行 Databricks jar，并将其附加到现有集群，该集群将在集群中配置 adls 键。

2. 无法从笔记本进行 spark-submit。但是你可以在jobs中创建一个spark job，或者你可以使用Databricks Run Sumbit api，来做一个spark-submit。