【问题标题】：EMR Bootstrap failingEMR 引导失败
【发布时间】：2020-09-08 06:56:22
【问题描述】：

我正在尝试在 AWS EMR 中运行以下引导脚本，但它在没有提供错误消息的情况下失败。我已经为应用程序设置了 EMR 集群：Spark、Hive、Ganglia 和 Livy。

!/bin/bash

sudo pip-3.6 安装 -U \ matplotlib\ 熊猫\ 火花-nlp

我正在使用 EMR 6 .

请让我知道这可能有什么问题。

谢谢！

【问题讨论】：

【解决方案1】：

您可以尝试在正在运行的 EMR 集群上运行您的脚本，以确保其正常运行。 emr6 的 Emr 发行说明建议 python3 是 default 。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

快速检查一下，它似乎与 python3.7 一起提供。这就是您的脚本可能无法正常工作的原因。所以你需要使用 pip3 或 /usr/bin/pip-3.7 （指定完整路径，可能没有为 pip-3.7 设置别名）

因此尝试使用

$ sudo pip3 install matplotlib ...

或

$ sudo python -m pip3 install matplotlib ...

【讨论】：

【解决方案2】：

看起来库没有正确安装。下面是一个适用于您的案例的引导操作脚本示例：

#!/bin/bash

sudo python3 -m pip install matplotlib pandas spark-nlp

您可以在documentation 中了解有关安装其他内核和库的更多信息。

如果您想（通过日志）调查您的集群终止或无法运行的原因，请查看this video。

【讨论】：