是否可以将 Kafka 与 Google 云数据流一起使用答案

【问题标题】：is it possible to Use Kafka with Google cloud Dataflow是否可以将 Kafka 与 Google 云数据流一起使用
【发布时间】：2015-07-05 18:20:52
【问题描述】：

我有两个问题

1) 我想将 Kafka 与 Google Cloud Dataflow Pipeline 程序一起使用。在我的管道程序中，我想从 kafka 读取数据有可能吗？

2) 我创建了启用 BigQuery 的实例，现在我想启用 Pubsub，我该怎么做？

【问题讨论】：

【解决方案1】：

(1) Raghu 提到的广告，在 2016 年年中通过 KafkaIO 包向 Apache Beam 添加了对写入/读取 Kafka 的支持。您可以查看package's documentation[1] 了解如何使用它。

(2) 我不太清楚你的意思。你能提供更多细节吗？

【讨论】：

在权限下的实例属性中，我有以下选项。用户信息禁用 Compute 禁用存储只读任务队列禁用 BigQuery 禁用 Cloud SQL 禁用 Cloud Datastore 禁用 Cloud Logging 只写云平台 .. 所以我猜我必须在创建本身时启用 Pub/Sub，但我错了。跨度>
未来是什么时候？我很想将 Kafka 用作 Dataflow 管道的一部分。
您现在可以将 Apache Beam SDK 与 Cloud Dataflow 服务一起使用，它包括使用 Kafka 进行读写的转换：github.com/apache/beam/tree/master/sdks/java/io/kafka

【解决方案2】：

Kafka 支持已于 2016 年中期添加到 Dataflow（和 Apache Beam）中。您可以读取和写入 Kafka 流式管道。在 Apache Beam 中查看 KafkaIO 的 JavaDoc。

【讨论】：

【解决方案3】：

(2) 自 2015 年 4 月 27 日起，您可以按如下方式启用 Cloud Pub/Sub API：

【讨论】：