用于大容量数据处理的 Spring Kafka 或 Kafka 流 Spring boot 应用程序 [关闭]

Question

我正在使用 Spring boot、Kafka 和 QuickFIX/J 为一家银行创建一个大容量 JSON 数据处理应用程序。这是我第一次使用 Kafka 和 QuickFIX/J 等技术，无法决定我应该使用普通的 Kafka spring 还是 Kafka 流或 spring 云流。 这是要求：

1. 从多个 Kafka 主题中读取数据
2. 处理数据并将其发送到 QuickFIX/J 启动器，该启动器进一步将其发送到外部 FIX 引擎
3. QuickFIX/J 接受器从外部 FIX 引擎接收数据并将其再次写回多个 Kafka 主题，但这次不同

我看过的教程/文章说，如果您同时拥有消费者/生产者、执行大量数据流并希望实现一次处理，那么 Kafka 流或 Spring Cloud 流是很好的选择。但是，这里我需要在处理后将数据发送给外部方，接收它然后写入Kafka主题。

使用 Kafka 流是一个不错的选择吗？还是我应该在正常的生产者和消费者中使用 spring kafka？

Answer 1

Spring Cloud Stream 只是 Spring 之上用于 Apache Kafka 的更高级别的、固执己见的抽象。它可以处理您的用例（有几个“接收器”示例应用程序）。

同样，Kafka Streams 不一定要向 Kafka 输出输出（尽管这是它的设计目的）。

可能最快的入口是 Spring Cloud Stream（或 Spring for Apache Kafka with Spring Boot），因为为您提供了大多数千篇一律的配置，您可以只专注于您的业务逻辑。