使用 Kafka Streams DSL 多次将同一主题用作源

Question

在使用 Kafka Streams DSL 时，有没有办法将同一主题用作两个不同处理例程的源？

StreamsBuilder streamsBuilder = new StreamsBuilder();

// use the topic as a stream
streamsBuilder.stream("topic")...

// use the same topic as a source for KTable
streamsBuilder.table("topic")...

return streamsBuilder.build();

上面的简单实现在运行时抛出TopologyException：无效拓扑：主题主题已被另一个来源注册。如果我们深入了解底层处理器 API，这是完全有效的。使用它是唯一的出路吗？

更新： 到目前为止我发现的最接近的替代方案：

StreamsBuilder streamsBuilder = new StreamsBuilder();

final KStream<Object, Object> stream = streamsBuilder.stream("topic");

// use the topic as a stream
stream...

// create a KTable from the KStream
stream.groupByKey().reduce((oldValue, newValue) -> newValue)...

return streamsBuilder.build();

Answer 1

阅读与流和表格相同的主题在语义上是有问题的恕我直言。 Streams 对不可变的事实进行建模，而用于读取 KTable 模型的更改日志主题会更新。

如果您想在多个流中使用单个主题，您可以多次重复使用相同的KStream 对象（在语义上类似于广播）：

KStream stream = ...
stream.filter();
stream.map();

还比较：https://issues.apache.org/jira/browse/KAFKA-6687（有计划取消此限制。我怀疑，我们将允许同时使用一个主题作为KStream 和KTable - 比较我上面的评论）。

Answer 2

是的，你可以，但为此你需要有多个StreamsBuilder

StreamsBuilder streamsBuilder1 = new StreamsBuilder();
streamsBuilder1.stream("topic");

StreamsBuilder streamsBuilder2 = new StreamsBuilder();
streamsBuilder2.table("topic");

Topology topology1 = streamsBuilder1.build();
Topology topology2 = streamsBuilder2.build();

KafkaStreams kafkaStreams1 = new KafkaStreams(topology1, streamsConfig1);
KafkaStreams kafkaStreams2 = new KafkaStreams(topology2, streamsConfig2);

还要确保每个StreamsConfig 具有不同的application.id 值