Kafka-connect-hdfs：小文件和 rotate.interval 设置之间的差异

Question

当我配置 hdfs 连接器时，我设置了“flush.size=3”和“rotate.interval.ms=5000”，令我困惑的是它是否会生成大量琐碎的文件，例如：成千上万的文件强>...

我不想成为更琐碎的文件，有没有其他可能的解决方案？

另外，rotate.interval.ms 和 rotate.schedule.interval.ms 有什么区别？

Answer 1

设置 rotate.interval.ms=5000 将每 5 秒调用一次文件提交。您可能希望保持不变，因为它默认处于禁用状态，除非数据摄取率较低并且连接器没有写入足够的消息来提交文件。

rotate.interval.ms 和 rotate.schedule.interval.ms 的区别在于：

rotate.schedule.interval.ms 将确保提交在 无论以前的提交如何安排时间。此配置是 当您必须根据当前服务器时间提交数据时很有用， 就像每个小时的开始一样。

rotate.interval.ms 将每“n”毫秒调用一次文件提交，并确保每“n”毫秒调用一次文件提交。