为公平调度配置 EMR 集群答案

【问题标题】：Configure EMR Cluster for Fair Scheduling为公平调度配置 EMR 集群
【发布时间】：2018-06-20 02:46:54
【问题描述】：

我正在尝试以公平的调度启动一个 emr 集群，以便我可以并行运行多个步骤。我看到这可以通过管道 (https://aws.amazon.com/about-aws/whats-new/2015/06/run-parallel-hadoop-jobs-on-your-amazon-emr-cluster-using-aws-data-pipeline/) 实现，但我已经通过调用 awscli[1] 的气流作业进行了集群管理/自动创建，因此只需更新我的配置就好了。

aws emr create-cluster \
        --applications Name=Spark Name=Ganglia \
        --ec2-attributes "${EC2_PROPERTIES}" \
        --service-role EMR_DefaultRole \
        --release-label emr-5.8.0 \
        --log-uri ${S3_LOGS} \
        --enable-debugging \
        --name ${CLUSTER_NAME} \
        --region us-east-1 \
        --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m3.xlarge)

我认为可以使用 --configurations (https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html) 标志来实现，但不确定正确的环境名称

【问题讨论】：

标签： hadoop apache-spark emr amazon-emr

【解决方案1】：

是的，你是对的。您可以使用 EMR 配置来实现您的目标。您可以使用以下内容创建 JSON 文件：

yarn-config.json:

[
  {
    "Classification": "yarn-site",
    "Properties": {
      "yarn.resourcemanager.scheduler.class": "org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler"
    }
  }
]

根据Hadoop Fair Scheduler docs

然后将您的 AWS CLI 修改为：

aws emr create-cluster \
        --applications Name=Spark Name=Ganglia \
        --ec2-attributes "${EC2_PROPERTIES}" \
        --service-role EMR_DefaultRole \
        --release-label emr-5.8.0 \
        --log-uri ${S3_LOGS} \
        --enable-debugging \
        --name ${CLUSTER_NAME} \
        --region us-east-1 \
        --instance-groups \
        --configurations file://yarn-config.json
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge 
InstanceGroupType=CORE,InstanceCount=4,InstanceType=m3.xlarge)

【讨论】：