【问题标题】:Hive calling MAP reduce for simple select queryHive 调用 MAP reduce 进行简单的选择查询
【发布时间】:2016-03-21 09:40:23
【问题描述】:

我在 hive 中创建了一个表并将数据加载到其中。当执行简单的“select * from”时,它正在调用map reduce。

实际上没有where子句的简单select语句只是HDFS文件的cat,不应该执行MAP REDUCE。

您能否建议不为简单选择调用 MAP reduce 该怎么办

【问题讨论】:

  • 你用过SERDE吗?
  • 什么是SERDE?对不起,我是新手。你能告诉我吗?
  • 你加载了什么样的数据?
  • 结构化数据。它是来自 oracle 表的数据。

标签: hive


【解决方案1】:

方式 1) hive>在您的 hive 会话中设置 hive.fetch.task.conversion=minimal,然后在您的 hive 会话中触发 select * 操作以避免 mapreduce 调用

方式 2) 在 hive-site 配置中添加以下属性以避免所有会话的 Mapreduce 调用

<property>
 <name>hive.fetch.task.conversion</name>
 <value>minimal</value>
 <description></description>
</property>

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-29
    • 2018-12-26
    • 1970-01-01
    • 1970-01-01
    • 2015-09-03
    • 1970-01-01
    相关资源
    最近更新 更多