Apacheflink 的 DataStream API 如何支持事件的批处理答案

【问题标题】：How Apacheflink's DataStream API supporting batch processing of eventsApacheflink 的 DataStream API 如何支持事件的批处理
【发布时间】：2021-07-21 10:47:41
【问题描述】：

我的生产者是 apache Kafka，我们想要侦听一批事件来处理它们并将处理后的事件写入数据库。如果我使用流/批处理，每个事件都会对 DB 进行一次查询。我不想将每个事件都作为一个查询来处理。如何批量处理一些事件并将这些批量数据写入数据库？

注意：我们使用的是 DataStream API

【问题讨论】：

您在什么意义上处理批次？请澄清您对“每个事件都会对数据库进行一次查询”的担忧。你用的是什么数据库？大多数接收器都进行批量插入。
我正在使用 Neo4j DB。你能建议 Neo4j 有什么接收器实现吗？

标签： apache-flink data-stream

【解决方案1】：

不，Flink 没有官方的 Neo4j 接收器。如果您的目标是通过缓冲、批量事务更新来实现一次端到端的，您可以从阅读 An Overview of End-to-End Exactly-Once Processing in Apache Flink 开始，然后联系 flink 用户邮件列表以获得进一步的指导。

【讨论】：