Apache Nifi - 使用 Kafka + 合并内容 + 放置 HDFS 以避免小文件

Question

我在 Kafka 主题中有大约 2000000 条消息，我想使用 NiFi 将这些记录放入 HDFS，所以我为此使用 PutHDFS 处理器和 ConsumeKafka_0_10 但它在 HDFS 中生成小文件，所以我在推送文件之前使用合并内容处理器合并记录。 如果配置需要更改，请提供帮助 这适用于少量消息，但在涉及大量数据的主题时，会为每条记录写入一个文件。

谢谢！！

Answer 1

最小条目数设置为 1，这意味着它可以具有从 1 到最大条目数的任何值。尝试将其设置为更高的值，例如 100k。