是否可以将 WebHDFS 与 Flume 一起使用？

【问题标题】：Is it possible to use WebHDFS with Flume?是否可以将 WebHDFS 与 Flume 一起使用？
【发布时间】：2017-01-05 18:10:46
【问题描述】：

我想让 Flume 代理位于 hadoop 集群之外，并想知道是否可以使用 flume 将消息发送到使用 WebHDFS 的 hadoop 集群。

如果没有，是否有替代使用 WebHDFS 的方法？使用多层水槽仍然需要我在 hadoop 集群中运行水槽代理。

【问题讨论】：

我正在寻找同一个问题 soaptree 的相关答案，但还没有弄清楚。我做的时候会分享。如果你现在已经学会了，请善意回答你自己的谜语..
非常感谢这个肥皂树。我试图设置一个，但这个例子是天赐之物。

标签： hadoop flume flume-ng webhdfs

【解决方案1】：

flume 代理可以在自己的机器上运行，而无需在 hadoop 集群中，只要您指定“hdfs”作为它们的类型。

我有一个水槽代理将 avro 事件写入 hdfs 接收器，而不是在 hadoop 集群上或使用 WebHDFS。

这是它的设置：

agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder

【讨论】：