【问题标题】:Install python package to PySpark Kernel in Sagemaker Notebooks在 Sagemaker Notebooks 中将 python 包安装到 PySpark 内核
【发布时间】:2019-12-22 22:04:40
【问题描述】:

有人知道如何在 AWS Sagemaker Notebook 实例上安装软件包,以便它们在 PySpark 内核中可用吗?我现在做了几次尝试,包括生命周期脚本,但似乎我错过了正确的 python 环境。有问题的包裹是joblib,但我想这不重要?!

【问题讨论】:

标签: amazon-web-services aws-glue amazon-sagemaker


【解决方案1】:

感谢您使用 Amazon SageMaker!

与任何其他内核不同,PySpark 内核仅在有 EMR 集群要连接时运行。而生命周期配置在笔记本实例投入服务之前运行。所以不能使用 Lifecycle Config 在 PySpark 内核中安装包,需要在内核启动并连接 EMR 集群后才能安装包。

为了将软件包安装到 PySpark 内核,您可以在内核启动后执行pip install <package_name>,它将在 EMR 集群主机上执行该命令。

谢谢,

尼拉姆

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-07-01
    相关资源
    最近更新 更多