Kafka Streams 有类似 Spark 的累加器吗？

Question

Spark 有一个有用的 API，用于以线程安全的方式累积数据 https://spark.apache.org/docs/2.3.0/api/scala/index.html#org.apache.spark.util.AccumulatorV2，并带有一些开箱即用的有用累加器，例如多头https://spark.apache.org/docs/2.3.0/api/scala/index.html#org.apache.spark.util.LongAccumulator

我通常使用累加器将调试、分析、监视和诊断连接到 Spark 作业中。我通常在运行 Spark 作业之前启动 Future 以定期打印统计信息（例如 TPS、直方图、计数、计时等）

到目前为止，我找不到任何与 Kafka Streams 类似的东西。有什么存在吗？我想这至少对于 Kafka 应用程序的每个实例都是可能的，但是要跨多个实例进行这项工作需要创建一个中间主题。

Answer 1

Kafka Streams 在设计上避免了并发性——如果累积的不需要容错，您可以在内存中完成并通过挂钟时间标点将其刷新。

如果需要容错，可以使用状态存储，并在标点符号中扫描整个存储以将其刷新。

这将为您提供任务级别的积累。不确定 Spark 的累加器如何详细工作，但如果它为您提供“全局”视图，我假设它需要通过网络发送数据，并且一个实例只能访问数据（或者可能是广播 - 不是当然，如何保证广播案例的一致性）。类似地，您可以将数据发送到一个主题（具有 1 个分区）以将所有数据全局收集到一个地方。