amazon EMR spark-submit 不允许 docker Image pattern sha256 diges答案

【问题标题】：amazon EMR spark-submit doesn't allow docker Image pattern sha256 digesamazon EMR spark-submit 不允许 docker Image pattern sha256 diges
【发布时间】：2021-09-26 19:10:59
【问题描述】：

我正在使用 Amazon EMR

我的问题日志如下。

Image name '<account_id>.dkr.ecr.ap-northeast-2.amazonaws.com/pyspark-etl@sha256:3d3a07135.......https://forums.aws.amazon.com/....0.87563e51ef5c841841a5d1a6dde9c' doesn't match docker image name pattern

发布标签：emr-6.2.0
Hadoop 发行版：Amazon 3.2.1
应用：Spark 3.0.1，
Hive 3.1.2，
JupyterHub 1.1.0，
神经节 3.7.2
齐柏林飞艇 0.9.0
李维 0.7.0 \ 色相 4.8.0
PrestoSQL 343

我必须使用 sha256 摘要的原因是因为我之前使用了 TAG:latest pyspark image hardcoded in airflow job ALSO containerized in ECR image。因此，当我的气流容器运行 EMROperator（精确的 SSHoperator）作为 CLI spark-submit 时。它拉：由于某种原因没有更新的最新火花容器。

这很奇怪，因为当我 ssh 进入核心实例时，我能够从 ECR 中提取 sha256 名称模式，如果有什么改变也更新 :latest TAG（所以摘要改变了）。

我认为这与 spark 配置 或 spark source from AWS 有关，它禁止摘要名称模式，但我无法调试它，因为我没有 spark(亚马逊）我自己的来源。非常感谢您的回答。

非常感谢，

【问题讨论】：

标签： amazon-web-services docker apache-spark amazon-emr

【解决方案1】：

我正在自己编辑，因为我得到了某人的答复。问题是我的 EMR 主节点上安装了 YARN 配置。 docker 默认镜像更新的 YARN 默认设置为 False。

https://github.com/apache/hadoop/blob/03cfc852791c14fad39db4e5b14104a276c08e59/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/src/main/java/org/apache/hadoop/yarn/server/nodemanager/containermanager/linux/runtime/DockerLinuxContainerRuntime.java#L344

所以，为了修复默认设置，你应该去/etc/hadoop/conf/ 并找到一个yarn-sites.xml 并修复（或添加）这个

<property>

<name>yarn.nodemanager.runtime.linux.docker.image-update</name>

<value>false</value>

<description>

Optional. Default option to decide whether to pull the latest image

or not.

</description>

</property>

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/DockerContainers.html

【讨论】：