【问题标题】:Azure ML workspace: how to publish pipeline to existing endpoint instead of creating newAzure ML 工作区:如何将管道发布到现有端点而不是创建新端点
【发布时间】:2021-01-29 14:01:15
【问题描述】:

我正在努力在 Azure 机器学习工作区中部署推理管道。

我已经使用几个 PythonScriptSteps 创建了一个管道,并希望使用 CI/CD 自动发布管道。

参考:https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-pipelines#publish-a-pipeline

pipeline = Pipeline(workspace=workspace, steps=[step1, step2])
pipeline_endpoint = pipeline.publish(name='deployment-test', version=1)

每次我发布时,它都会创建新的端点,但我想部署到现有的端点,这样就不必在消费者端进行任何更改。

【问题讨论】:

  • 版本化管道端点的 Azure 文档当前不正确。有关详细信息,请参阅此GitHub issue

标签: azure azure-pipelines azure-machine-learning-studio azureml azureml-python-sdk


【解决方案1】:

PipelineEndpoint 可用于更新已发布的管道,同时保持相同的端点。 PipelineEndpoint 提供了一种使用版本来跟踪 PublishedPipelines 的方法。 PipelineEndpoint 使用带有版本信息的端点来触发底层发布的管道。管道端点在工作区中是唯一命名的。

【讨论】:

  • PipelineEndpoint 的问题是我无法获取运行历史记录,因为运行历史记录与管道相关联。是否可以从 PipeLineEndpoint 获取运行历史记录?此外,Azure ML cli 不支持 PipelineEndpoint,这使得使用 CI/CD 部署新管道变得更加困难。
【解决方案2】:

我遇到了和你一样的问题,并通过执行以下操作设法让它工作:

首先初始化端点:

pipeline = Pipeline(workspace=ws, steps=steps)
published = pipeline.publish(
            name="name"
        )
pipeline_endpoint = PipelineEndpoint.publish(
            workspace=ws,
            name="My endpoint name",
            pipeline=published,
            description="Endpoint to my pipeline",
       )
pipeline_endpoint.add_default(published)

下次你运行它时,你改为运行:

pipeline = Pipeline(workspace=ws, steps=steps)
published = pipeline.publish(
            name="name"
)
pipeline_endpoint = PipelineEndpoint.get(
     workspace=ws, name="My endpoint name"
)
pipeline_endpoint.add_default(published)

add_default 确保在端点中使用最新版本的管道。

【讨论】:

  • 但是没有先发布 Pipeline 运行就没有办法重新发布 PipelineEndpoint?我的用例是我想重新发布管道定义(Pipeline() 对象),而不必在将管道发布为 PipelineEndpoint 之前发布管道的运行
  • 例如,您可以提交PipelineEndpoint.publish(workspace, pipeline=Pipeline(workspace, steps=[step1, step2]), name='pipeline_name'),但以后不能使用PipelineEndpoint.add_default(Pipeline(workspace, steps=[step1, step2])) 添加新的管道定义。add_default 仅接受PublishedPipeline 对象
猜你喜欢
  • 2014-04-10
  • 1970-01-01
  • 1970-01-01
  • 2020-08-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-12-19
  • 2013-10-22
相关资源
最近更新 更多