【问题标题】:is hive have its own map reduce program?蜂巢有自己的地图减少程序吗?
【发布时间】:2011-09-02 08:52:20
【问题描述】:

我想在我的应用程序上实现 hive+hadoop map reduce 程序, 我仍然想知道,因为我已经多次尝试查询和查找有关 hive 中的 map reduce 程序的信息..

我的问题是,hive 有自己的 map reduce 程序吗? 因为当我尝试一点复杂的查询时,日志就像:

Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%,  reduce = 100%
Ended Job = job_local_0001

该查询中有 map reduce 过程,然后如果我尝试 google 一些在 hive 中实现的 map reduce 程序,还有其他方法可以创建我们的 map reduce 程序..

我的意见是,我们可以使用 hive 来处理数据挖掘(大型查询)(我不知道对错?请纠正我) 我们可以创建我们的 map reduce 程序以在 hive 中实现特定任务(这是真的吗?)

对此有什么解释吗?

感谢大家的解释和关注,对不起我的英语不好..thanks..:D

【问题讨论】:

    标签: map hadoop mapreduce hive


    【解决方案1】:

    不,它使用 Hadoop 的 MapReduce。但它使用 MapReduce 来聚合查询所需的数据。 因此,如果您已经搜索了每个值以及特定键,Hive 将在您的输入上运行 MapReduce 作业来为您获取数据。

    基本上,HIVE 使用 mapreduce 并将 SQL-Like 语言转换为 MapReduce 作业。

    【讨论】:

    • 感谢您的回复..如果我们指定另一个映射器或减速器类,映射器的输入和减速器是来自蜂巢的查询吗?我对这个特殊任务有点困惑,因为在示例程序中,输入就像计数等。具体查询怎么样?关于这个的任何其他例子?我很抱歉我的问题和我的英语不好..非常感谢..
    • @fahmi-abduloh 我认为你应该先阅读教程wiki.apache.org/hadoop/Hive/Tutorial
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-06-29
    • 2022-11-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多