【发布时间】:2012-04-02 10:52:11
【问题描述】:
是否可以从 hadoop mongodb 插件连接器读取 mongodb 数据,使用 mapreduce hadoop 处理数据,以及当输出结果不使用 hadoop mongodb 插件连接器但将 mapreduce hadoop 的结果保留在 hdfs 中时?
【问题讨论】:
标签: mongodb hadoop hadoop-plugins
是否可以从 hadoop mongodb 插件连接器读取 mongodb 数据,使用 mapreduce hadoop 处理数据,以及当输出结果不使用 hadoop mongodb 插件连接器但将 mapreduce hadoop 的结果保留在 hdfs 中时?
【问题讨论】:
标签: mongodb hadoop hadoop-plugins
我认为这个关于 SO 的先前答案回答了你的问题,只是稍作改动:
Is it possible to read MongoDB data, process it with Hadoop, and output it into a RDBS(MySQL)?
主要区别在于您可以将 OutputFormatClass 设置为:
job.setOutputFormatClass( SequenceFileOutputFormat.class );
您还需要在 HDFS 上设置要将数据保存到的输出路径。查看他们的WordCount 示例以获得完整的代码示例,但使用上面的作为输出格式而不是 MongoOutputFormat。
【讨论】: