Flume NG FileChannel 很慢答案

【问题标题】：Flume NG FileChannel is very slowFlume NG FileChannel 很慢
【发布时间】：2013-05-24 01:14:26
【问题描述】：

我一直在用flume ng（flume-ng-1.2.0+24.81-1~lucid）做实验，一直在比较内存通道和文件通道的性能。

我的测试系统中的每个事件的大小为 1KB，在我当前的配置下，我能够使用内存通道处理大约 30,000 个 EPS。但是，当使用文件通道时，我只能处理大约 1600 EPS。

平均而言，我希望在我的生产系统上平均收到 2500 EPS，并且我想使用文件通道在接收器故障的情况下提供大约 1 小时的事件缓冲（我使用的是 HDFS 接收器到 hadoop 集群的 1Gbps 连接）。

这是我的文件通道配置：

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint
agent.channels.c1.dataDirs = ~/.flume/file-channel/data
agent.channels.c1.transactionCapacity = 13107200
agent.channels.c1.checkpointInterval = 30000
agent.channels.c1.maxFileSize = 9216000000
agent.channels.c1.minimumRequiredSpace = 524288000
agent.channels.c1.capacity = 9000000
agent.channels.c1.keep-alive = 3
agent.channels.c1.write-timeout = 3
agent.channels.c1.checkpoint-timeout = 600
agent.channels.c1.use-log-replay-v1 = FALSE
agent.channels.c1.use-fast-replay = FALSE

我的 HDFS 接收器的批量大小已设置为 5000。

任何人都可以就如何提高文件通道的性能提出任何建议吗？

谢谢

【问题讨论】：

标签： hadoop hdfs flume filechannel

【解决方案1】：

1.2.0 版非常很奇怪。当前发布版本为 1.3.1。

也就是说，trunk 是 1.4.0-SNAPSHOT，~可能~在 6 月底发布。我相信 FileChannel 在那段时间有一些更新，所以你可能想使用它的构建重新测试。（mvn install -Dmaven.test.skip=true 是你的朋友）。

其次，您是否考虑过将 checkpointDir 和 dataDirs 指向它们自己的磁盘？

【讨论】：