【发布时间】：2020-07-03 07:09:52
【问题描述】：
在阅读了大量有关数据流的信息后，我发现只有 PubSub 和 bigquery 作为支持 GCP 数据流中的流式数据处理的数据源。
还支持哪些其他数据源？
我能否使用数据流完成所有使用其他 ETL 工具（如 Spark 或 Kafka）可以完成的流式传输任务？
【问题讨论】：
标签： google-cloud-platform etl google-cloud-dataflow apache-beam
【发布时间】：2020-07-03 07:09:52
【问题描述】：
Apache Beam 提供可扩展的支持来为任何类型的流源构建 IO。 SDK中有Kafka、Kinesis、MQTT的实现。
鉴于 Beam 中传输、格式和下游捆绑架构的分离，您应该能够与任何类型的流源进行交互，只要底层格式是可序列化的。
【讨论】：
-
感谢 Eric Schmidt，这一切都可以通过 Python sdk 进行转换吗？
-
从历史上看，Python 仅支持 PubSub，但正在努力使用新的跨语言功能（请参阅beam.apache.org/roadmap/connectors-multi-sdk）包装所有 Java 连接器，例如，最新版本支持 Kafka ：github.com/apache/beam/blob/master/sdks/python/apache_beam/io/…。 Python 还支持完整的转换模型（ParDo、窗口化、分组、状态和计时器等）。