【问题标题】:Flume 1.2.0 custom SourceFlume 1.2.0 自定义源码
【发布时间】:2012-10-23 12:07:42
【问题描述】:

我有一个自制的事件收集和处理框架,我希望用 Apache Flume 1.2.0 替代它,因为我们将开始将数据加载到 Hadoop 中。由于 Flume 没有 HTTP 源,我正在编写一个带有嵌入式 Tomcat 服务器的自定义源。我正在关注http://flume.apache.org/FlumeUserGuide.html#custom-source 的文档,但是当我开始时,我得到以下异常:

java.lang.IllegalArgumentException:源没有已知的运行器类型 com.xxx.xxx.flume.TestSource@5219f360 在 org.apache.flume.SourceRunner.forSource(SourceRunner.java:54) 在 org.apache.flume.conf.properties.PropertiesFileConfigurationProvider.loadSources(PropertiesFileConfigurationProvider.java:340) 在 org.apache.flume.conf.properties.PropertiesFileConfigurationProvider.load(PropertiesFileConfigurationProvider.java:222) 在 org.apache.flume.conf.file.AbstractFileConfigurationProvider.doLoad(AbstractFileConfigurationProvider.java:123) 在 org.apache.flume.conf.file.AbstractFileConfigurationProvider.access$300(AbstractFileConfigurationProvider.java:38) 在 org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:202) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 在 java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:351) 在 java.util.concurrent.FutureTask.runAndReset(FutureTask.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603) 在 java.lang.Thread.run(Thread.java:722)

【问题讨论】:

    标签: java hadoop flume


    【解决方案1】:

    我想我想通了。 Flume 网站上的文档没有提到自定义实现应该实现的不是 Source 接口,而是 EventDrivenSource 或 PollableSource 接口。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-05-07
      • 1970-01-01
      • 2015-09-02
      • 1970-01-01
      • 2018-02-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多