卡夫卡 csv 处理

Question

我有一个关于文件处理并将它们放入 Kafka 主题的问题。现在我们正在通过 csv 库处理文件，在 java 中进行一些计算并将结果放入 kafka 主题中。是批量操作。文件每隔几个小时处理一次。然后这些数据会传播到需要这些数据的微服务。我知道Kafka有stream api，我可以实时做同样的计算。我的问题是我是否必须注意卡夫卡流。因为数据仅每几个小时处理一次，并且处理时间绝对适合当前要求。我想听听你的建议。提前谢谢你

Answer 1

听起来你已经有了一个 Kafka 生产者。批处理运行是发送该数据的唯一选择，因为您的输入源仍然是批处理的。

Kafka 并不适合文件处理。默认情况下，最大消息大小为 1MB。您可以将 CSV lines 放在主题中，但您可能会失去订购保证（如果您在意的话）。
此外，CSV 在 Kafka 主题中经常不受欢迎，因为您失去了任何列含义的上下文。

尚不清楚您如何使用来自 Kafka 的结果，但 Streams 可以帮助您读取发送的结果并将其转发到新主题或作为 KTable 嵌入到您的微服务中。