将 Kafka 输入流动态连接到多个输出流答案

【问题标题】：Dynamically connecting a Kafka input stream to multiple output streams将 Kafka 输入流动态连接到多个输出流
【发布时间】：2017-06-12 11:39:15
【问题描述】：

Kafka Streams 中是否内置了允许将单个输入流动态连接到多个输出流的功能？ KStream.branch 允许基于真/假谓词进行分支，但这并不是我想要的。我希望每个传入日志确定它将在运行时流式传输到的主题，例如，日志{"date": "2017-01-01"} 将流式传输到主题topic-2017-01-01，日志{"date": "2017-01-02"} 将流式传输到主题topic-2017-01-02 .

我可以在流上调用 forEach，然后写信给 Kafka 生产者，但这似乎不太优雅。在 Streams 框架中是否有更好的方法来做到这一点？

【问题讨论】：

“基于字符串”是什么意思——顺便说一句：KStream.branch 采用多个谓词（您的问题表明您错过了这个）。所以branch 应该允许做你想做的事。可以举个数据例子吗？
我应该更清楚。我知道它需要多个谓词——如果我有固定数量的要流式传输的主题，那将是一个很好的解决方案。但是，我想做的是写给名为 foo-{date} 的主题。

标签： java apache-kafka apache-kafka-streams

【解决方案1】：

如果您想根据您的数据动态创建主题，目前在 Kafka 的 Streaming API 中没有任何支持（v0.10.2 和更早版本）。您将需要创建一个KafkaProducer 并自己实现您的动态“路由”（例如使用KStream#foreach() 或KStream#process()）。请注意，您需要进行同步写入以避免数据丢失（不幸的是，这不是很好）。有计划通过动态主题路由扩展 Streaming API，但目前还没有具体的时间表。

还有一个您应该考虑的因素。如果您不提前知道您的目标主题，而只是依赖所谓的“主题自动创建”功能，则应确保使用所需的配置设置（例如，分区数）创建这些主题或复制因子）。

作为“主题自动创建”的替代方案，您还可以使用管理客户端（自 v0.10.1 起可用）创建具有正确配置的主题。见https://cwiki.apache.org/confluence/display/KAFKA/KIP-4+-+Command+line+and+centralized+administrative+operations

【讨论】：

你能给我们一个动态主题路由计划的链接吗-我想关注进度-谢谢