如何在 StreamSets Data Collector 中加入多个 Kafka 主题？

【问题标题】：How to join multiple Kafka topics in StreamSets Data Collector?如何在 StreamSets Data Collector 中加入多个 Kafka 主题？
【发布时间】：2019-10-17 07:54:49
【问题描述】：

我有一个用例，我必须根据 StreamSets Data Collector 中的某些标准“加入”多个 Kafka 主题。我想知道是否有一些常用的成语可以解决这样的问题？

【问题讨论】：

标签： apache-kafka stream-processing streamsets

【解决方案1】：

StreamSets Data Collector 确实不适合此类工作，因为 Data Collector 管道只能有一个来源。

您应该查看StreamSets Transformer，它专门基于 Spark 构建，能够连接多个数据流并执行类似的任务。

【讨论】：

【解决方案2】：

如何使用 Kafka Multitopic Consumer 1 然后使用 Stream Selector Processor 2 根据您的标准路由到垃圾箱或处理？

【讨论】：