【问题标题】：Set Spark version for Sagemaker on Glue Dev Endpoint在 Glue Dev Endpoint 上为 Sagemaker 设置 Spark 版本
【发布时间】：2019-12-30 12:05:39
【问题描述】：
为了创建我的 Glue 脚本，我将开发端点与运行 Pyspark (Sparkmagic) 内核的 Sagemaker 笔记本一起使用。
最新版 Glue（1.0 版）支持 Spark 2.4。但是，我的 Sagemaker 笔记本使用 Spark 2.2.1 版。
我想测试的功能只存在于 Spark 2.3 中。
有没有办法解决开发端点和胶水作业之间的这种不匹配？我可以以某种方式设置笔记本的 Spark 版本吗？
我在文档中找不到任何内容。
【问题讨论】：
标签：
amazon-web-services
apache-spark
aws-glue
amazon-sagemaker
【解决方案1】：
当您为 Glue 开发终端节点创建 SageMaker 笔记本时，它会启动具有特定生命周期配置的 SageMaker 笔记本实例。此 LC 提供用于在 SageMaker 笔记本和开发终端节点之间创建连接的配置。从 PySpark 内核运行单元后，代码会通过 REST API 发送到在开发端点中运行的 Livy 服务器。
因此，您看到的以及运行 SageMaker 笔记本的 PySpark 版本取决于开发端点，并且从 SageMaker 的角度来看是不可配置的。
由于 Glue 是一项托管服务，因此开发端点的 root 访问权限受到限制。因此，您无法将 spark 版本更新到更高版本。 Glue 中新引入了使用 Spark 2.4 版本的功能，似乎尚未针对 dev 端点发布。