将有效负载/事件数据从 Google 跟踪代码管理器发送到 Bigquery答案

【问题标题】：Send payload/event data from Google Tag Manager to Bigquery将有效负载/事件数据从 Google 跟踪代码管理器发送到 Bigquery
【发布时间】：2021-08-04 04:02:27
【问题描述】：

这是我要解决的问题。客户端有 1000 个网站将数据层数据发送到 GTM。最终，数据需要发送到 Bigquery。因此，它的大量数据当前被发送到云函数，然后将其插入 Bigquery，由于其配额和限制，存在超时错误。

但是这种方式会大量增加云函数实例的数量，性价比不高。另一种方法可能是将 GTM 事件发送到 Google 云发布订阅，然后发送到云功能（我们现在可以控制最大实例数）。但是这种方法的问题是 GTM 无法将数据发送到需要身份验证的端点。 pubsub 端点就是这种情况（它需要 API 密钥/Oauth 2.0）。

任何处理此问题的建议/建议/方法将不胜感激。

【问题讨论】：

您的客户可能会考虑迁移到服务器端 Google 跟踪代码管理器，除了其他优点外，它还内置了对 BigQuery 的写入支持。这需要新的基础架构（首先，一个为 SSGTM 运行 docker 容器和映射子域的云平台），但您的用例看起来似乎值得。

标签： rest google-bigquery google-cloud-functions google-tag-manager google-cloud-pubsub

【解决方案1】：

我建议您尝试 Cloud Run。它与 Cloud Function 非常相似（将您的功能包装在网络服务器中，仅此而已！我在上面wrote an article），您可以在同一实例上同时处理多达 250 个查询（从而降低成本并提高效率）。

我没有发现 BigQuery 问题（限制和配额），但正确的方法是将流写入 BigQuery（流中每秒写入 100 万次）。

【讨论】：

感谢@guillaume blaquiere 的回复。这听起来不错，我现在将尝试这种方法:)。