Azure DevOps 管道与 Databricks 集成 + 如何在管道结果屏幕上打印 Databricks 笔记本结果答案

【问题标题】：Azure DevOps pipeline integration with Databricks + how to print Databricks notebook result on pipeline result screenAzure DevOps 管道与 Databricks 集成 + 如何在管道结果屏幕上打印 Databricks 笔记本结果
【发布时间】：2021-06-16 16:51:14
【问题描述】：

我正在尝试将 Azure Databricks 集成到 DevOps 管道中，并使用以下 URL：https://menziess.github.io/howto/run/databricks-notebooks-from-devops/

在 Azure Databricks，在我的笔记本上创建了一个作业
使用预安装 Databricks-CLI 的单独 VM 并将其设置为自托管池代理
在管道中准备了一个 YAML 脚本，它在我的自托管代理池中调用上述数据块作业

我的 Pipeline 和 databricks 作业正在成功执行。

但我想提取pepeline内部笔记本生成的输出并在控制台上打印。这样，任何人都可以通过传递参数来触发管道并在控制台屏幕上查看结果。 Notebook 主要以表格数据的形式返回输出（例如，从表格中选择 *）。

有人可以帮我解决这个问题吗？

【问题讨论】：

这个问题怎么样？下面的答案是否解决了您的问题，如果是，您可以接受它作为答案，这样它可以帮助遇到同样问题的其他社区成员，我们可以存档这个帖子，谢谢。如果没有，请告诉我们您是否需要进一步的帮助

标签： yaml azure-pipelines databricks azure-databricks

【解决方案1】：

您可以在 DevOps 管道的最后一步中使用 cli 命令 databricks fs cp 将数据复制到代理，然后使用适当的工具将其打印出来。

【讨论】：

【解决方案2】：

我们可以尝试使用powerShell脚本将结果设置为变量，然后我们可以将数据输出到文件中。这可以解决。目前，在管道中我们无法传递它们的参数并在控制台屏幕上查看结果。

【讨论】：