【问题标题】:hadoop mongodb connector - output data not as mongodb but hdfshadoop mongodb 连接器 - 输出数据不是 mongodb 而是 hdfs
【发布时间】:2012-04-02 10:52:11
【问题描述】:

是否可以从 hadoop mongodb 插件连接器读取 mongodb 数据,使用 mapreduce hadoop 处理数据,以及当输出结果不使用 hadoop mongodb 插件连接器但将 mapreduce hadoop 的结果保留在 hdfs 中时?

【问题讨论】:

    标签: mongodb hadoop hadoop-plugins


    【解决方案1】:

    我认为这个关于 SO 的先前答案回答了你的问题,只是稍作改动:

    Is it possible to read MongoDB data, process it with Hadoop, and output it into a RDBS(MySQL)?

    主要区别在于您可以将 OutputFormatClass 设置为:

    job.setOutputFormatClass( SequenceFileOutputFormat.class );
    

    您还需要在 HDFS 上设置要将数据保存到的输出路径。查看他们的WordCount 示例以获得完整的代码示例,但使用上面的作为输出格式而不是 MongoOutputFormat。

    【讨论】:

    • 我刚刚意识到我链接的问题是你问的问题。它基本上是相同的问题,但输出格式略有不同。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-10-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多