为什么在 sagemaker 笔记本中导入 SparkContext 库时出现错误？

Question

我在 AWS Glue 中使用 SageMaker Notebook 进行 ETL 开发。

在导入 SparkContext 库时，我收到以下错误。我试图重新启动内核，但没有成功。有人可以解释一下“a”点吗？

代码因致命错误而失败：发送 http 请求时出错 和遇到的最大重试次数..*

一些尝试：

一个。确保 Spark 有足够的可用资源供 Jupyter 使用 创建一个 Spark 上下文。

b.请联系您的 Jupyter 管理员以确保 Spark 魔法 库配置正确。

c。重启内核。

以下几点需要注意：

1. 我正在从 AWS 控制台 > AWS Glue > 开发终端节点 > 笔记本创建 sagemaker 笔记本。

2. 创建的开发端点的 VPC、子网和安全组与连接的 RDS 相同 应该做的。在创建开发端点时，在网络中 page 我从连接列表中选择一个现有连接 在下拉菜单中可用，以便 VPC、子网和安全组 自动选择。

3. 我已将 DPU 从 5 增加到 10 但仍然收到此错误。
4. 无法达到我可以达到的步骤 创建到 RDS 的连接，因为在调用 图书馆。
5. 如果我在创建开发端时跳过网络信息 点我可以成功调用所有相关库 （附截图）。 （连接时不建议使用 RDS，因为它不起作用）。

因此，只有在提供连接时才会出现此错误（“代码失败，因为...”）。

如果有人可以帮助解决此问题，将会很有帮助。

Answer 1

想知道您对 Livy 端点的配置是否有效？ Livy 在 8998 端口上运行。您应该检查该端口是否在安全组中打开。

这可能有用：https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/

另外，如果这没有帮助，您应该尝试停止并重新启动笔记本电脑一次。这在过去有所帮助。