如何在 AWS EMR 笔记本上安装 python 库？

【问题标题】：how do I install python library on AWS EMR notebook?如何在 AWS EMR 笔记本上安装 python 库？
【发布时间】：2020-06-28 09:52:28
【问题描述】：

我想在 AWS 笔记本上安装额外的库（连接到 EMR 集群），但是我没有看到任何从笔记本连接到互联网的选项。如果我执行“pip install”，它总是会说网络不可达。我不确定网络连接和库安装需要更改哪个网络。

我确实登录了 Jupyter 终端，并 ping 到了 google.com，但它刚刚超时。我在笔记本部分下看不到任何网络/安全组等配置以进行任何相关更改。

我可能需要采取一些额外的步骤吗？

【问题讨论】：

【解决方案1】：

如果您使用 PySpark 内核，那么您可以使用

安装库

sc.install_pypi_package("celery")

或者通过运行

sudo pip-3.6 install boto3

如果你使用python 3内核，那么只安装the packages，除了将python包上传到笔记本然后使用jupyterlab终端运行之外，没有直接的方法来安装额外的库

pip install package.tar.gz

【讨论】：