【发布时间】：2020-10-25 05:33:13
【问题描述】：
我期待从 OGG 将数据流式传输到 BQ。最好的方法是什么？来自 Oracle Golden Gate 的数据可以直接流式传输到 BigQuery 还是我们需要一些连接器？
请建议最好的方法？
【问题讨论】：
标签： google-cloud-platform google-bigquery google-cloud-pubsub oracle-golden-gate
【发布时间】：2020-10-25 05:33:13
【问题描述】：
您需要一个连接器来连接两个世界：
- 将 OGG 事件转换为 PubSub 消息的桥接器，然后在流中处理 PubSub 消息（使用 Dataflow 或 Cloud Run/Cloud Functions if the data volume and rate are acceptable）。
- 或使用计算（本地或 GCP）监听 OGG，然后针对每条消息，将数据流式写入 BigQuery。
【讨论】：
-
感谢您的回答，但我是 OGG 新手，需要知道我们是否需要使用第三方连接器，或者我们是否有可能完全使用 GCP 服务。我担心使用任何第三方派对工具。我们如何通过 GCP 上的计算来收听 OGG。您能详细说明一下吗？
-
我会添加 ETL 文章 - cloud.google.com/solutions/… 和 BigQuery 数据集成 - cloud.google.com/bigquery/providers。看看 Alooma。
-
您可以像处理 JMS 队列一样处理 OGG 消息。这里是Oracle documentation for that。我从未尝试过这种实现方式。
作为提醒，GoldenGate 产品已通过原生认证，可将数据传输到 Google Big Query，GG 19c 大数据认证的完整列表如下：https://www.oracle.com/technetwork/middleware/ogg-19-1-0-0-0-cert-matrix-5491855.xls
（注意；您可以使用 OGG 12.3 及更高版本将 Oracle DB 11.2.0.4 及更高版本中的数据复制到 GG Big Data 19c 中用于 Big Query）
【讨论】：
Oracle GoldenGate 有一个本机适配器可交付给 Google BigQuery。它自 2018 年 9 月开始投放市场，并被许多公司成功使用。 参考https://blogs.oracle.com/dataintegration/goldengate-for-big-data-123211-release-update
我认为 Google Pub/Sub 不是将大量数据传输到云端的正确接口。 Google Pub/Sub 对吞吐量有限制。 请参阅此链接https://cloud.google.com/pubsub/quotas。
请注意，GoldenGate 没有任何真正的限制或界限，例如 Google Pub/Sub 或 AWS Kinesis。 GoldenGate 是一款真正可扩展的产品。
使用 Google Pub/Sub 失败的用例可能如下：
如果输入速度超过 5MB/秒会怎样？ Pub/Sub 将拒绝 数据以及应该如何处理该故障？ 有人可能会争辩说他们会创建多个主题，但如果主表的创建速度超过 5MB/秒，而您不想分成不同的主题怎么办？
【讨论】：