如何限制 Hive 作业中映射器的数量？

Question

在我的三节点集群中，我已经优化了性能所需的所有参数。但这对我来说没有多大帮助， 我们所有的 hive 表都是用 parquet 格式创建的，当我的团队尝试从外部表加载到内部表时， 请在下面找到脚本，

ksh -c 'hadoop fs -rm -R 
 hdfs:///user/hive/warehouse/bistore_sit_cycle2.db/wt_consumer/d_partition_number=0;
        hive -e  "set hive.exec.dynamic.partition.mode=nonstrict;
        insert into bistore_sit_cycle2.wt_consumer
        partition(d_partition_number)
        select * from bistore_sit_cycle2.ext_wt_consumer;
        set hive.exec.dynamic.partition.mode=strict;"'

加载需要 2 个多小时，hive 作业使用 718 个映射器创建并在每个节点上运行 2 个容器，同时 5 个映射器只为该作业运行。 负载是 85M 记录和大约 35GB。

如何用更少的映射器运行这样的作业以及如何增加运行映射器的并发度!!!???

And this is my complete Cluster and YARN configuration details,

CPU: Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz (16 physical cores)(32 hyper threaded) 
RAM:256GB 
DISK:1.2TB x 16
MapR 5.0.0 - Community Edition
        mapreduce.map.memory.mb=10g
        mapreduce.reduce.memory.mb=16g
        yarn.app.mapreduce.am.resource.mb=16g
        yarn.app.mapreduce.am.command-opts=15g
        yarn.app.mapreduce.am.resource.cpu-vcores=16
        mapreduce.map.cpu.vcores=12
        mapreduce.reduce.cpu.vcores=16
        mapreduce.map.disk=1.5
        mapreduce.reduce.disk=3.99
        mapreduce.map.java.opts=9g
        mapreduce.reduce.java.opts=15g
        mapreduce.task.io.sort.mb=1024
        mapreduce.task.io.sort.factor=1024
        mapreduce.reduce.shuffle.parallelcopies=48
        yarn.nodemanager.resource.memory-mb=180g
        yarn.scheduler.maximum-allocation-mb=180g
        yarn.scheduler.minimum-allocation-mb=4g
        yarn.nodemanager.resource.cpu-vcores=32
        yarn.nodemanager.vmem-pmem-ratio=3.2
        HADOOP_CLIENT_OPTS=32g

Answer 1

为 hive 查询生成的映射器数量取决于输入拆分。您有 35 GB 的数据，您将获得 718 个映射器。这意味着您的拆分大小约为 49 MB (35*1024/718)。您的集群只有三个节点，并且根据您的 YARN 容器大小设置，它可能最多只能生成 5 个容器。为了增加并行度，您需要添加更多容器，即垂直或水平扩展集群节点。您需要更多数量或映射器来提高性能，更少的映射器意味着更少的并行度。