s3distcp 因“mapreduce_shuffle 不存在”而失败答案

【问题标题】：s3distcp fail with "mapreduce_shuffle does not exist"s3distcp 因“mapreduce_shuffle 不存在”而失败
【发布时间】：2020-05-18 23:21:57
【问题描述】：

当我运行下面的命令时，

s3-dist-cp --src s3://test/9.19 --dest hdfs:///user/hadoop/test

我收到有关 auxService 的错误。

20/02/03 07:52:13 INFO mapreduce.Job: Task Id : attempt_1580716305878_0001_m_000000_2, Status : FAILED
Container launch failed for container_1580716305878_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

在许多 QnA 中，我找到了这样的解决方案 link.

但是nodemanager没有进程。

[hadoop@ip-172-31-37-115 ~]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 8149
hadoop-yarn-resourcemanager start/running, process 17331
hadoop-yarn-proxyserver start/running, process 8147

我的 EMR 是通过 emr-5.28.0 的快捷菜单创建的。有人知道这个问题吗？

谢谢！

【问题讨论】：

我认为是hadoop-yarn-resourcemanager stackoverflow.com/a/43445699/4549682 但是即使在xml文件中添加了mapreduce_shuffle aux服务，它对我也不起作用。我想知道这是否是在启动集群时必须完成的一些设置。
另外，我的 EMR 上没有可用的 s3-dist-cp 命令，你做了什么特别的事情吗？

标签： amazon-s3 hdfs hadoop-yarn amazon-emr s3distcp

【解决方案1】：

我确信有一些方法可以更新配置，但我所做的是使用“高级”设置创建一个集群并选择了这些软件包：

神经节蜂巢色调马豪猪泰兹火花 Hadoop （共8个）

除了 spark 之外，大多数都是使用默认设置安装的（快速设置中软件包的第一个单选按钮）。这些软件包之一或与之相关的东西是导致安装 s3-dist-cp 的原因，并且我能够使用该设置而没有问题。

【讨论】：