【问题标题】:For CDAP Logging HTTP RESTful API, how to pass filter parameter对于 CDAP Logging HTTP RESTful API,如何传递过滤器参数
【发布时间】:2020-01-22 05:40:31
【问题描述】:

根据 CDAP 文档,过滤器字符串可以作为可选参数提供。它会将返回的日志条目过滤为与提供的字符串匹配的条目。

https://docs.cask.co/cdap/6.0.0/en/reference-manual/http-restful-api/logging.html#http-restful-api-logging

如果我只需要在日志级别过滤为错误,我如何在其余 api 调用中传递它。我已尝试添加 &logLevel=ERROR,但没有成功,请指导我如何通过过滤器。

【问题讨论】:

  • 嗨!这个问题对我来说似乎有点令人困惑。你真的在使用 GCP 产品数据融合吗?因为它是这样标记的,但您正在共享来自 CDAP 的文档(它在数据融合的底层运行,但不共享 REST API)。
  • 我正在使用 CDAP 文档,因为 GCP Datafusion 的 API 文档不完整。我正在尝试使用日志记录 API 来提取数据融合管道的日志,专门用于错误消息

标签: logging google-cloud-data-fusion cdap


【解决方案1】:

我认为这里对数据融合和 CDAP 存在一些混淆。

正如我在上一篇文章中试图提到的,Data Fusion 和 CDAP 并不相同。 Data Fusion 是基于开源项目 CDAP 构建的独立产品,但在云端集成了 its own API 和工具/功能。

如果您想查看您的日志,here 您有审核日志的文档,here 您可以在 Stackdriver(云端的另一个集成产品)中搜索管道日志。这些文档将指导您在 GCP 中完成所需的步骤来搜索您想要搜索的内容。


编辑:

似乎实际上可以使用 CDAP 端点来解决这个问题。

@phaneendra 分享了一种向CDAP endpoints 发送 API 请求的方法,方法是导航到系统管理 -> 配置 -> 在 Datafusuion 实例上进行 Http 调用。这允许您提取日志并解决已发布的问题。

此外,您还可以使用记录在案的 CDAP reference guide 来创建和管理您的 Cloud Data Fusion 实例和管道。

【讨论】:

  • 我能够使用 Logging API 通过 REST API 调用来提取 Datafusion 日志,即使它没有正式记录,它似乎也可以工作。
  • @phaneendrakumar 你能多扩展一点你的答案吗?什么 API 起作用了?什么没有正式记录?我很好奇这个问题的解决方案。
  • 您可以导航到 System Admin -> Configuration -> Make Http Calls on your Datafusuion instance ,在这里您可以发送 API 调用并检索数据。我能够按照本文档docs.cask.co/cdap/6.0.0/en/reference-manual/http-restful-api/… 中的说明提出获取请求并获取所需的日志数据
  • @phaneendrakumar 谢谢!现在我更好地理解了这个问题,我将编辑答案以添加您的解决方法,以提高其知名度并为社区着想。
猜你喜欢
  • 2021-10-14
  • 1970-01-01
  • 2018-04-14
  • 1970-01-01
  • 1970-01-01
  • 2013-07-30
  • 1970-01-01
  • 1970-01-01
  • 2016-04-17
相关资源
最近更新 更多