1、集群环境
CDH 6.2.1

hive版本 2.1.1

2、设置参数

开启客户端显示数据的字段信息

hive.cli.print.header=true

开启显示当前库的名称

hive.cli.print.current.db =true

开启动态分区

set hive.exec.dynamic.partition=true;

开启非严格模式

set hive.exec.dynamic.partition.mode=nonstrick;

进行动态分区写入数据时一次运行最大生成多少个分区

set hive.exec.max.dynamic.partitions.pernode=10000;

set hive.exec.max.dynamic.partitions=100000;

进行动态分区写入数据时一次最多生成多少个文件

set hive.exec.max.created.files=150000;

在Map-only的任务结束时合并小文件

set hive.merge.mapfiles=true;

在Map-Reduce的任务结束时合并小文件

set hive.merge.mapredfiles = true;

3、由于cdh,hive中没有的对应的参数选项,需要通过高级设置完成这些项目的修改

  • 在hive组件的配置选项搜索hive-site

CDH集群修改/设置hive的动态分区(dynamic)相关参数

找到 **hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)**这个自定义文档选项,添加对应的key-value保存并重新启动hive即刻生效。
CDH集群修改/设置hive的动态分区(dynamic)相关参数
4.显示库名
CDH集群修改/设置hive的动态分区(dynamic)相关参数

相关文章:

  • 2021-10-07
  • 2021-07-05
  • 2021-05-10
  • 2022-12-23
  • 2022-12-23
  • 2022-02-15
  • 2021-09-04
  • 2022-02-19
猜你喜欢
  • 2021-12-07
  • 2022-12-23
  • 2022-12-23
  • 2021-09-24
  • 2021-08-12
  • 2021-06-04
相关资源
相似解决方案