在 aws EMR 中添加用于 spark 的 python 包答案

【问题标题】：adding python packages for use in spark in aws EMR在 aws EMR 中添加用于 spark 的 python 包
【发布时间】：2017-11-30 17:13:27
【问题描述】：

我刚刚开始使用 AWS EMR 作为测试的一部分 - 我创建了一个引导文件以在我的 EMR 实例上使用 pip 安装特定的 python 包。我知道这是非常基本的事情。 bash 脚本包含

#!/bin/bash
set -e
pip install typing --user

但是，当我将 python 脚本作为一个步骤提交时，我收到以下错误

Traceback（最近一次调用最后一次）：文件“py-calculate.py”，行 6、在从输入 import Iterable ImportError: No module named typing End of LogType:stdout

从外观上看，没有安装打字包。

【问题讨论】：

【解决方案1】：

正如我所猜测的那样，打字包没有被安装。我以前的方法是将bash脚本修改为

#! /bin/bash
sudo pip install -U typing

出于某种原因，这效果更好。

【讨论】：