获取 Cloud Data Fusion 运行时信息答案

【问题标题】：fetching Cloud Data Fusion Runtime info获取 Cloud Data Fusion 运行时信息
【发布时间】：2020-10-30 07:07:05
【问题描述】：

我想在管道完成后将数据融合管道的 runid 传递给某个函数，但我无法找到任何保存该值的运行时变量。请帮忙！

【问题讨论】：

您好！我想澄清一下您是想在管道运行期间还是在完成后检索 run_id？谢谢！
嗨 Ines，当管道通过 HTTP 管道警报成功时，我想将管道的 run_id 传递给云功能。我不知道是否有任何变量，包含管道的 run_id 的参数，我可以参考传递给函数。
嗨 Sudhir，目前有包含 runId 信息的运行时信息。我可以问一下您在需要管道 runId 的云功能中尝试做什么吗？我们有这个功能请求的 JIRA：issues.cask.co/browse/CDAP-12719
嗨 Edwin，我计划使用 'POST -H "Authorization: Bearer ${AUTH_TOKEN}" "${CDAP_ENDPOINT}/v3/ 从插件中获取像 Records.in 这样的管道统计信息metrics/query"' API，它需要 Pipeline 的 RuniD 作为正文中的输入运行。因此，当 Pipeline 成功时，我想将其 RunID 传递给 Cloud Function，Cloud Function 将使用该 runid 获取统计信息。参考：cloud.google.com/data-fusion/docs/reference/…
您好 Edwin，您提到此信息存在于运行时信息中。我尝试访问 runtime['runid'] 和 runtime['run_id'] 但这两个不存在。运行时获取 run_id 的关键是什么？

标签： google-cloud-data-fusion

【解决方案1】：

@Edwin Elia 在评论部分提供了正确答案：

目前无法在其运行或先前的管道中检索数据融合管道的run-id。这是一个enhancement，您可以跟踪它，这将成为可能。

当谈到在管道完成后检索 run_id 值时，您应该能够使用来自 CDAP documentation 的 REST API 来获取有关运行的信息，包括运行 ID。

【讨论】：

【解决方案2】：

作为对上一个答案的更新，首先要做的是获取给定命名空间中已部署管道的详细信息。为此，应查询以下端点：'/v3/namespaces/${NAMESPACE}/apps'。其中${NAMESPACE} 是部署管道的命名空间。

此端点返回一个列表，其中包含在此命名空间 ${NAMESPACE} 上部署的管道（不是管道 JSON，只是一个高级描述列表）。获取管道列表后，要获取给定管道的运行指标，应调用以下端点：'/v3/namespaces/${NAMESPACE}/apps/${PIPELINE}/workflows/DataPipelineWorkflow/runs'，其中${PIPELINE} 是管道的名称。此端点将返回此管道的所有运行的详细信息。这是可以获得run_id的地方。包含 run_id 的字段在此列表中实际上称为 runid。

使用run_id，您可以获取所有运行日志，例如通过查询端点'{CDAP_ENDPOINT}/v3/namespaces/{NAMESPACE}/apps/{PIPELINE}/workflows/DataPipelineWorkflow/runs/{run["runid"]}/logs?start={run["start"]}&stop={run["start"]}'。前面的 sn-p 是 python sn-p 其中run 是包含特定运行的运行详细信息的字典。

如 CDAP microservice guide 中所述，要调用这些端点，必须通过运行以下命令获取 CDAP 端点：gcloud beta data-fusion instances describe --project=${PROJECT} --location=${REGION} --format="value(apiEndpoint)" ${INSTANCE_ID}。还需要身份验证令牌，这可以通过运行找到：gcloud auth print-access-token。

【讨论】：