AWS Spark EMR Numpy 导入错误

【问题标题】：AWS Spark EMR Numpy Import ErrorAWS Spark EMR Numpy 导入错误
【发布时间】：2017-12-11 05:22:44
【问题描述】：

我正在尝试在导入 numpy 的 AWS EMR 上提交 Python 脚本，但我得到了

ImportError: No module named numpy

我在这里尝试使用其中一个答案：No module named numpy when spark-submitting。我创建了一个 bootstrap_actions.sh 脚本，其中包括

 sudo yum install python-numpy python-scipy -y

我在创建集群时运行脚本，但仍然收到导入错误。关于如何让 import numpy 工作的任何解决方案？

【问题讨论】：

【解决方案1】：

对于 Amazon EMR，您需要使用引导操作。从控制台安装只会更改主节点，不会更改任务节点。

runners:
  emr:
    bootstrap:
    - sudo yum install -y python27-numpy

我假设您将使用 Python 2.7。如果您使用的是 Python 3.x，下面的链接包含在引导程序中使用 PIP 安装的示例。我还假设您使用的是最新的 EMR AMI。

【讨论】：