【问题标题】:What is the best way to import Google Analytics data into Azure Blob/Data Lake?将 Google Analytics 数据导入 Azure Blob/Data Lake 的最佳方式是什么?
【发布时间】:2022-04-25 23:26:38
【问题描述】:

我正在尝试将 Google Analytics 数据导入 Azure Blob 或 Data Lake 存储以进行分析或报告。但我在 Azure 数据工厂中没有看到 Google Analytics 连接器。

我看到一些第三方连接器,例如 CData、Xplenty、Stitchdata 等,但它们都需要付款。我也尝试了 Google Analytics API,但我不知道如何使用它来将数据导入 Azure,我的知识有限。有没有办法免费将 Google Analytics 数据引入 Azure?

【问题讨论】:

    标签: azure google-analytics azure-blob-storage azure-data-factory


    【解决方案1】:

    根据我的研究,您可以按照两种方法将数据从 Google Analytics 数据传输到 Azure Blob。

    1.在这种情况下,How could I import google analytics data to Google Cloud Platform? 可以将数据从 Google Analytics 传输到 Google BigQuery。 ADF 支持Google BigQuery connector

    2.ADF 支持 REST 连接器。你可以参考这个api文档:https://developers.google.com/analytics/devguides/reporting/core/v3/reference

    【讨论】:

    • 感谢您的帮助。我相信GA 360每年花费150K。仅将其用于将数据导入 BigQuery,然后再导入 Azure 听起来令人望而却步。有没有更便宜的方法来实现这一点? API 似乎只允许导入现有视图或报告数据(已在 GA 中定义的视图或报告),而不是所有原始数据,对吗?
    【解决方案2】:

    很遗憾,Azure 数据工厂不支持 Google Analytics 连接器。

    参考:Azure Data Factory supported connectors

    我建议您对另一个 Azure 客户提交的想法进行投票。

    https://feedback.azure.com/d365community/idea/4ca9dce8-6d26-ec11-b6e6-000d3a4f032c

    您在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队进行监控和审查。

    【讨论】:

    • 感谢您的帮助。我已投票支持此增强功能。
    【解决方案3】:

    希望我回答这个问题还不算太晚。

    我也一直在研究这个问题,并将我的选择范围缩小到以下:

    1. Google BigQuery 的粒度/命中级别数据:截至 2019 年 11 月,Azure 数据工厂中提供了一个连接器。为了使用它,您必须将 Analytics 360 连接到 BigQuery。 Analytics 360 的成本约为 15 万/年,我认为这不是最合理的选择。

    2. 采样数据:您可以使用 Reporting v4 api 或 Streaming analytics api 编写服务工作者以在 azure 中获取数据(实时或其他)。同样,这是采样数据,我认为它不会带来显着的价值。

    3. 使用事件路由的粒度/命中级别原始数据:您可以通过注入自定义 JavaScript 来修改谷歌分析 JavaScript 代码,以将命中级别数据路由到您的服务器。这篇文章更详细地描述了这一点。 Ingesting raw google analytics data

    我将在下周使用 azure worker 和 SQL Server 来处理这个问题并在 azure 上捕获所有内容。让我知道我是否可以在那里提供帮助。

    【讨论】:

    • 您能否说明您选择了哪个选项以及是否有效。流式传输/报告 v4 api 遇到的任何问题。 150k/年用于 GA 360 订阅,将 Google Analytics(分析)数据迁移到 Big Query 是否涉及单独的费用?
    【解决方案4】:

    Refer Core 报告 API 允许您获得相当多的维度和指标。数据工厂有一个休息连接器,它也适用于分页。

    另一个不错的选择是在两者之间使用大查询并利用数据工厂大查询连接器。

    第三种选择是使用 GTM 回调方法将您的数据层推送到 API,该 API 可以由 azure 中的功能应用程序之一侦听。

    【讨论】:

      【解决方案5】:

      我已经实施了一个成本相当低的解决方案,而不需要 G360。这就像使用谷歌标签管理器完成的一样,它复制点击并推送到 Azure 事件中心,然后你可以随心所欲地使用它。一种选择是将文件保存到 blob 存储以供以后使用(使用事件中心捕获)或与 Azure 流分析作业甚至 Azure Functions 一起使用。

      这受到了blog 的启发,它推动了扫雪机。

      【讨论】:

        【解决方案6】:

        这个问题非常广泛,已经分享了很多好的解决方案。然而,仅仅为了更新,新版本的 Google Analytics (GA4) 提供了与 BigQuery 的免费数据集成。从那里应该很容易将其移动到 Azure 数据工厂。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 2021-06-12
          • 1970-01-01
          • 2020-11-22
          • 2021-11-10
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多