【问题标题】:About Hadoop's map-reduce关于 Hadoop 的 map-reduce
【发布时间】:2023-03-19 00:59:02
【问题描述】:

我是 Hive 和 Hadoop 的新手。 我在蜂巢中实施了一项任务。为此,我在 java 中编写了查询块,并且正在使用 java 中的 JDBC 访问 Hive。 (类似于 SQL 中的存储过程)

Hive 使用 Hadoop 的 Mapreduce 来执行每个查询。所以我需要在java中为它编写mapreduce作业(Hadoop)吗? (我有这个疑问,因为 Hive 使用的是 Hadoop mapreduce,那么是否需要实现 Mapper 和 Reducer?)

【问题讨论】:

  • 您的问题是否与减少往返次数有关?

标签: hadoop mapreduce hive


【解决方案1】:

不,Hive 正在从您的 SQL 语句生成一个或多个 map/reduce 作业并将它们发送到 Hadoop 集群。

【讨论】:

  • 好的...但是有没有类似用于 Hive JDBC 的 Mapreduce 代码?
【解决方案2】:

不,您的 hive 查询将转换为 map reduce 作业。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-07-07
    • 1970-01-01
    • 2011-07-21
    • 2014-03-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多