【发布时间】:2014-09-29 17:47:57
【问题描述】:
我是 Flume 和 hadoop 的新手。我有一个疑问:我们是否可以在不配置hadoop的情况下使用flume?
任何人都可以分享他们的知识吗?
【问题讨论】:
我是 Flume 和 hadoop 的新手。我有一个疑问:我们是否可以在不配置hadoop的情况下使用flume?
任何人都可以分享他们的知识吗?
【问题讨论】:
是的,Flume 可以完全独立于 hadoop 工作。但是,它确实对 HDFS 有一些包依赖性。如果你不打算使用 HDFS sink,你可以在没有 Hadoop 的情况下使用它
【讨论】:
是的!至于我最近的flume配置[source=Twitter,channel=memory],我使用loggerSink将流式“数据”放入文件系统(unix文件目录)中的日志文件中,您只需要为数据做一些事情有意义。尽管作为水槽安装的一部分,还有其他可用的接收器(HDFSSink、HBaseSink、IRC、File Roll,请查看https://flume.apache.org/FlumeUserGuide.html 了解更多详细信息和用法),或者您可以创建一个新的。
【讨论】: