【问题标题】:Apache Flume without hadoop没有 hadoop 的 Apache Flume
【发布时间】:2014-09-29 17:47:57
【问题描述】:

我是 Flume 和 hadoop 的新手。我有一个疑问:我们是否可以在不配置hadoop的情况下使用flume?

任何人都可以分享他们的知识吗?

【问题讨论】:

    标签: apache hadoop flume


    【解决方案1】:

    是的,Flume 可以完全独立于 hadoop 工作。但是,它确实对 HDFS 有一些包依赖性。如果你不打算使用 HDFS sink,你可以在没有 Hadoop 的情况下使用它

    【讨论】:

    • @Amar...我们可以使用 file_roll sink 吗?
    • 感谢您的回复...您可以分享file_roll的配置文件吗...我有...但它显示目录不为空
    • 这是我用于文件滚动接收器的配置:dataplatform.sinks.sink3.type = file_roll dataplatform.sinks.sink3.sink.directory = /home/flume/flume-sink/ dataplatform .sinks.sink3.sink.rollInterval = 60 dataplatform.sinks.sink3.batchSize = 1000
    【解决方案2】:

    是的!至于我最近的flume配置[source=Twitter,channel=memory],我使用loggerSink将流式“数据”放入文件系统(unix文件目录)中的日志文件中,您只需要为数据做一些事情有意义。尽管作为水槽安装的一部分,还有其他可用的接收器(HDFSSink、HBaseSink、IRC、File Roll,请查看https://flume.apache.org/FlumeUserGuide.html 了解更多详细信息和用法),或者您可以创建一个新的。

    【讨论】:

      猜你喜欢
      • 2020-03-07
      • 2015-07-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-12-16
      • 1970-01-01
      相关资源
      最近更新 更多