如何向 AWS SageMaker 上的 Python 路径添加另一个路径

Question

我一直在尝试添加一个文件夹来存放我的 python 模块，但到目前为止，我还无法通过 AWS 的终端来完成。带有.py 文件的文件夹位于主SageMaker 文件夹内，所以我正在尝试（我也尝试使用SageMaker/zds，这是包含模块的文件夹）：

export PYTHONPATH="${PYTHONPATH}:SageMaker/"

在使用python -c "import sys; print('\n'.join(sys.path))" 通过终端打印PYTHONPATH 的目录后，我发现我的新路径确实包含在PYTHONPATH 中。但是，当我尝试从任何笔记本（使用from zds.module import * 或from module import *）导入任何模块时，我收到模块不存在的错误消息。如果我直接在笔记本中打印来自PYTHONPATH 的路径，我将不再在列表中看到之前添加的路径。

我是否在这里遗漏了一些基本内容，或者无法在 AWS SageMaker 中添加到 PYTHONPATH 的路径？现在，我不得不在基本上每个笔记本中使用import sys, os sys.path.insert(0, os.path.abspath('..')) 来解决这个问题。

Answer 1

将此添加到 lifecycle script 对我有用

sudo -i <<'EOF'

touch /etc/profile.d/jupyter-env.sh
echo export PYTHONPATH="$PYTHONPATH:/home/ec2-user/SageMaker/repo-name/src" >> /etc/profile.d/jupyter-env.sh

EOF

Answer 2

感谢您使用 Amazon SageMaker！

从https://docs.aws.amazon.com/sagemaker/latest/dg/notebook-lifecycle-config.html复制

Amazon SageMaker 笔记本实例使用 conda 环境为 Jupyter 笔记本实施不同的内核。如果要安装可用于一个或多个笔记本内核的软件包，请将安装软件包的命令附在 conda environment 命令中，这些命令会激活包含要安装软件包的内核的 conda 环境 例如，如果您只想在 python3 环境中安装一个包，请使用以下代码：

# This will affect only the Jupyter kernel called "conda_python3".
source activate python3

# Replace myPackage with the name of the package you want to install.
pip install myPackage
# You can also perform "conda install" here as well.

source deactivate

如果您按照上述建议的方式进行安装，您应该能够从您正在使用的笔记本对应的内核中导入您的包。如果没有帮助，请告诉我们。