【问题标题】:Implement DevOps on DataBricks DBFS files在 DataBricks DBFS 文件上实施 DevOps
【发布时间】:2026-02-16 01:25:03
【问题描述】:

我正在尝试在 Azure 数据工厂和 Azure Databricks 上实施 DevOps。

我已完成 ADF DevOps 和 Databricks 笔记本文件的 devops 实施。

部署后,ADF 管道似乎存在一些问题,这些管道正在获取存储在 dbfs 位置的 jar 文件。

其中一个管道如下所示。 jar文件的路径是 dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar 将 ADF 管道部署到 PROD 环境后,它指向 PROD 数据块实例,同名 jar 文件将不可用。这导致管道在 PROD 中失败。

如何从 DEV dbfs 位置获取 jars 并将其部署到具有相同名称的 PROD dbfs 位置以使 ADF 管道运行?

下面给出的是我现在遵循的实现 DevOps 的方法。

  1. 我创建了一个构建管道,它指向 git 存储库并通过执行 pom.xml 文件构建 jar 文件
  2. 创建了一个发布管道,它将 jar 文件从构建工件复制到 FileStore/jars/
  3. 现在 ADF 管道将指向 FileStore/jars/ 中可用的 jar

是否有任何替代方法来解决这个问题或者这是正确的方法?

【问题讨论】:

    标签: azure azure-devops azure-data-factory azure-data-factory-2 azure-databricks


    【解决方案1】:

    您现在如何部署 Azure Databricks 和 JAR 文件?
    对于 Databricks 部署,您可以使用 azure.databricks.cicd.tools
    对于 ADF 部署,您可以使用以下工具之一:ADFTools
    很抱歉简短的回答,但我希望它能引导您朝着正确的方向前进。

    【讨论】: