【发布时间】:2013-09-25 01:05:36
【问题描述】:
我正在使用 flume-ng 及其 HDFS 接收器。现在,如果我将一些文件添加到给定文件夹中,它也会自动存储在 HDFS 中。它工作正常;但是我注意到 HDFS 中文件的大小非常小。因此,如果我将一个 1GB 的文件放入给定的文件夹中,它将由数百个文件存储在 HDFS 中。我可以让 HDFS 中的文件更大吗?如何在 flume-conf.properties 中配置它?
【问题讨论】:
标签: flume
我正在使用 flume-ng 及其 HDFS 接收器。现在,如果我将一些文件添加到给定文件夹中,它也会自动存储在 HDFS 中。它工作正常;但是我注意到 HDFS 中文件的大小非常小。因此,如果我将一个 1GB 的文件放入给定的文件夹中,它将由数百个文件存储在 HDFS 中。我可以让 HDFS 中的文件更大吗?如何在 flume-conf.properties 中配置它?
【问题讨论】:
标签: flume
您是否尝试增加hdfs.rollSize。
有一个开放的 jira 将有助于增加 hdfs 块大小https://issues.apache.org/jira/browse/FLUME-2003
【讨论】: