在数据工厂 Databricks 任务中使用来自私有工件源的 JAR答案

【问题标题】：Using a JAR from a private Artifacts Feed in Data Factory Databricks task在数据工厂 Databricks 任务中使用来自私有工件源的 JAR
【发布时间】：2021-01-12 08:56:49
【问题描述】：

我的目标是首先将我的 Scala 项目的 JAR 文件发布到 Azure DevOps Artifacts Feed，然后将这些 JAR 作为我在 Azure 数据工厂中的 Databricks 任务的一部分。我假设我必须使用 Maven 作为我的库类型并将存储库指向人工制品提要。

提要是私有的，我还没有找到一种方法来设置数据工厂的凭据以使用它。

首先这可能吗？可以将凭据嵌入到 Maven 存储库 URL 中吗？

Data Factory 的 Databricks 任务下的“追加库”选项：

【问题讨论】：

目前不支持私有存储库。但是您可以将您的 jar 从 CI/CD 管道推送到 DBFS（例如通过 databricks cli），然后从作业配置中引用该 jar
嗨，您有机会查看以下命令吗？进展如何？

标签： azure maven azure-devops azure-data-factory databricks

【解决方案1】：

Azure Databricks 不支持 Maven 私有存储库。如果要安装私有 maven 包，可以将包上传到 DBFS 并通过 Databricks 库 CLI 安装包。见下例：

从本地上传到 DBFS。

databricks fs cp "path/to/myPac.jar" dbfs:/mavenPrivate/jars

从 DBFS 安装 JAR

databricks libraries install --cluster-id $CLUSTER_ID --jar dbfs:/mavenPrivate/jars/myPac.jar

【讨论】：