【问题标题】:retrieve google analytics data with Hadoop Flume使用 Hadoop Flume 检索谷歌分析数据
【发布时间】:2023-03-19 13:20:01
【问题描述】:

我想使用 Google Analytics API 检索 Google Analytics 数据。我想用 Hadoop Flume 将它们存储在 hdfs 上。

例如,我想检索这个http调用的结果:

https://www.googleapis.com/analytics/v3/data/ga?ids=ga%3A92525220&start-date=2016-08-25&end-date=2016-08-25&metrics=ga%3Asessions&access_token=XXX

我可以在这篇文章中找到一个水槽配置来收集 HTTP 查询: How to setup a HTTP Source for testing Flume setup?

但是我看不到 http URL,而且我对如何使用它感到困惑。

您能否提供一个示例,说明如何使用 Hadoop Flume 检索 Google Analytics API 数据或任何 API?

我是否需要中间编码(java、python...)来调用 API?直接调用API不就是Flume的作用吗?

【问题讨论】:

  • 要求我们推荐或查找书籍、工具、软件库、教程或其他场外资源的问题对于 Stack Overflow 来说是无关紧要的,因为它们往往会吸引固执己见的答案和垃圾邮件。相反,请描述问题以及迄今为止为解决该问题所做的工作。

标签: api hdfs google-analytics-api flume


【解决方案1】:

您可以尝试Http-source,如果它不符合您的需求,请选择 Custom source

【讨论】:

  • 在我的帖子中给出的HTTP源示例中,没有带参数的URL,所以我不明白如何使用它。 HTTP源中有url参数吗?
  • @rom,对不起,我的错。 Http 源将不起作用,它是获取和发布请求的侦听器。您必须使用自定义 Flume 源。 Flume doc 有一个很好的例子来开始
猜你喜欢
  • 1970-01-01
  • 2017-05-08
  • 1970-01-01
  • 1970-01-01
  • 2022-08-03
  • 2018-03-10
  • 2015-08-24
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多