【发布时间】:2026-02-16 01:25:03
【问题描述】:
我正在尝试在 Azure 数据工厂和 Azure Databricks 上实施 DevOps。
我已完成 ADF DevOps 和 Databricks 笔记本文件的 devops 实施。
部署后,ADF 管道似乎存在一些问题,这些管道正在获取存储在 dbfs 位置的 jar 文件。
其中一个管道如下所示。
jar文件的路径是
dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar
将 ADF 管道部署到 PROD 环境后,它指向 PROD 数据块实例,同名 jar 文件将不可用。这导致管道在 PROD 中失败。
如何从 DEV dbfs 位置获取 jars 并将其部署到具有相同名称的 PROD dbfs 位置以使 ADF 管道运行?
下面给出的是我现在遵循的实现 DevOps 的方法。
- 我创建了一个构建管道,它指向 git 存储库并通过执行 pom.xml 文件构建 jar 文件
- 创建了一个发布管道,它将 jar 文件从构建工件复制到
FileStore/jars/ - 现在 ADF 管道将指向
FileStore/jars/中可用的 jar
是否有任何替代方法来解决这个问题或者这是正确的方法?
【问题讨论】:
标签: azure azure-devops azure-data-factory azure-data-factory-2 azure-databricks