作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps？

Question

我们正在使用 Azure DevOps 向 Databricks 提交训练作业。训练作业使用笔记本来训练机器学习模型。我们正在使用databricks CLI 从 ADO 提交作业。

在笔记本的步骤中，我们创建了一个.pkl 文件，我们希望将其下载到构建代理并将其作为工件发布到 Azure DevOps 中。我们如何做到这一点？

Answer 1

这实际上取决于该文件的存储方式：

1. 如果只是保存在 DBFS 上，可以使用databrics fs cp 'dbfs:/....' local-path
2. 如果文件存储在本地文件系统上，则将其复制到DBFS（例如，使用dbutils.fs.cp），然后使用上一项
3. 如果模型被 MLflow 跟踪，那么您可以通过MLflow API（或REST API）将模型显式导出到 DBFS（您也可以直接对 DevOps 执行此操作，只需要具有正确的凭据等。 ) 或使用this tool to export models/experiments/runs to local disk