如何在多个实例中运行弹簧批处理而不创建重复项

Question

我是春季批次的新手。我遇到了这个问题，我的应用程序每 5 分钟运行一次，并从云中的 blob 中读取数据，其中有一些记录并将这些记录处理到 kafka 主题中。问题是，现在它在没有问题的单个实例中运行，但是如果我打算在多个实例中运行，如果两个实例同时运行选择相同的记录，那么在 kafka 主题中将会有重复，因为代码库是相同的.是否有任何功能可以帮助 Spring Batch 克服此问题或任何其他不会创建重复项的方法。

提前致谢 范西

Answer 1

Kafka 消费者组可以为您提供帮助。为了使您的 Spark 批处理实例彼此同步，您应该将 group.id 设置为相同的值 group1，然后 kafka 会处理其余的事情

Properties props = new Properties();
props.put("group.id", "group1");
... // other props
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);