Hive 合并小型 ORC 文件

Question

我的输入包含大量小的 ORC 文件，我想在一天结束时合并这些文件，并且我想将数据分成 100MB 的块。

我的输入和输出都是 S3，环境使用的是 EMR，

正在设置的 Hive 参数，

set hive.msck.path.validation=ignore;
set hive.exec.reducers.bytes.per.reducer=256000000;
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.mapred.mode = nonstrict;

set hive.merge.mapredfiles=true;
set hive.merge.mapfile=true ;

set hive.exec.parallel = true;
set hive.exec.parallel.thread.number = 8;

SET hive.exec.stagingdir=/tmp/hive/  ;
SET hive.exec.scratchdir=/tmp/hive/ ;

set mapred.max.split.size=68157440;
set mapred.min.split.size=68157440;
set hive.merge.smallfiles.avgsize=104857600;
set hive.merge.size.per.task=104857600;
set mapred.reduce.tasks=10;

我的插入语句：

insert into table dev.orc_convert_zzz_18 partition(event_type) select * from dev.events_part_input_18 where event_type = 'ScreenLoad' distribute by event_type;

现在的问题是，我有大约 80 个输入文件，总共 500MB 大小，在这个插入语句之后，我期待 S3 中有 4 个文件，但是所有这些文件都被合并到一个不需要的文件中输出。

谁能告诉我，怎么回事，

Answer 1

您正在使用 2 个不同的概念来控制输出文件：

• 分区：设置目录
• 分发者：设置每个目录下的文件

如果你只想在每个目录下有4个文件，你可以只分配一个随机数，例如：

insert into table dev.orc_convert_zzz_18 partition(event_type) 
select * from dev.events_part_input_18 
where event_type = 'ScreenLoad' distribute by Cast((FLOOR(RAND()*4.0)) as INT);

但我建议按您可能查询的数据中的某些列进行分布。它可以缩短您的查询时间。

可以阅读更多关于它的信息here