如何更改 aws EMR 上的纱线调度程序配置？答案

【问题标题】：How to change yarn scheduler configuration on aws EMR?如何更改 aws EMR 上的纱线调度程序配置？
【发布时间】：2017-09-10 06:46:51
【问题描述】：

与 HortonWorks 或 Cloudera 不同，AWS EMR 似乎没有提供任何 GUI 来更改各种 hadoop 生态系统框架的 xml 配置。

登录我的 EMR 名称节点并快速操作

find \ -iname yarn-site.xml

我发现它位于/etc/hadoop/conf.empty/yarn-site.xml，容量调度程序位于/etc/hadoop/conf.empty/capacity-scheduler.xml。

但请注意这些是如何在 conf.empty 下的，我怀疑这些可能不是 yarn-site 和 capacity-scheduler xmls 的实际位置。

我知道我可以在创建集群时更改这些配置，但我需要知道的是如何能够在不破坏集群的情况下更改它们。

我只是想玩转调度属性等，并尝试不同的调度程序以确定哪些可能适用于我的 spark 应用程序。

提前致谢！

【问题讨论】：

您可以使用诸如vim 之类的某种文本编辑器来编辑实际文件，或者您可以按照这些steps 创建一个新的配置目录并重新加载您的集群，或者您可以简单地输入man yarn在您的 ssh 集群中，它会告诉您如何操作。
直接编辑的问题似乎是完全相同的文件似乎在多个地方。
查看man yarn 页面，它明确告诉您如何配置选项
@Kumar Vaibhav，实际上 AWS-EMR 使用 puppet 部署 hadoop 配置，并且需要对 Puppet 框架有很多了解才能破解它。我觉得这是更改配置的非常尴尬的方式，因为我也和你一样被困在同一个页面上，还没有找到答案。仅在主节点中编辑 yarn-site 或 mapred-site xml 文件不足以使用已配置为 yarn-client 的 spark，并且重新启动 yarn 服务不会产生任何影响。

【解决方案1】：

好吧，yarn-site.xml 和 capacity-scheduler.xml 确实在正确的位置 (/etc/hadoop/conf.empty/) 并在运行集群上，在主节点上编辑它们并重新启动 YARN RM 守护程序将更改调度程序。

启动新集群时，您可以使用EMR Configurations API 更改适当的值。 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html

例如：在您的 EMR 配置上的 capacity-scheduler and yarn-site classifications 中指定适当的值，以更改相应 XML 文件中的这些值。

编辑：2019 年 9 月 4 日： 使用 Amazon EMR 版本 5.21.0 及更高版本，您可以覆盖集群配置并为正在运行的集群中的每个实例组指定其他配置分类。您可以使用 Amazon EMR 控制台、AWS 命令行界面 (AWS CLI) 或 AWS 开发工具包来执行此操作。

【讨论】：

使用 EMR 配置 API 仅有助于在创建集群时根据我们的要求修改配置。之后，当我们想要进行实验时，很难将配置推送到核心/任务节点。
EMR 尚不支持动态推送配置。 AWS 有一些服务，如 SSM，您可以在 ec2 上使用这些服务在集群上运行您需要的任何命令。一篇博客文章简要讨论了这一点，但在自定义 AMI 场景中有所不同。 aws.amazon.com/blogs/big-data/…
查看 YARN RM: sudo status hadoop-yarn-resourcemanager 重启 YARN RM: sudo stop hadoop-yarn-resourcemanager sudo start hadoop-yarn-resourcemanager