AWS Glue - 开发终端节点 - “userData.json”错误答案

【问题标题】：AWS Glue - Dev Endpoint - 'userData.json' errorAWS Glue - 开发终端节点 - “userData.json”错误
【发布时间】：2020-04-24 12:25:43
【问题描述】：

每次创建新的 Dev Endpoint（新集群）时 - 首先出现此错误：

] util.UserData (UserData.java:getUserData(70)) - Error encountered while try to get user data
java.io.IOException: File '/var/aws/emr/userData.json' cannot be read

如何解决？

谢谢。

【问题讨论】：

重复stackoverflow.com/questions/57268057/…
不重复。相同的错误但不同的环境。我无法更改该文件的模式，因为无法访问该文件..
那我们俩在同一条船上。 stackoverflow.com/q/60839451/5167801

标签： amazon-web-services apache-spark aws-glue

【解决方案1】：

这是使用 EMR 集群或 Glue 开发端点时的已知问题之一。使用 EMR 集群时，您始终可以授予文件权限，错误就会消失。

chmod 777 /var/aws/emr/userData.json

但是当使用胶水开发端点时，我们没有获得 root 访问权限。 AWS 支持建议忽略错误并继续执行，因为它不会停止执行。

所以我尝试运行我的脚本，尽管抛出了错误，它仍会生成输出。

希望对你有帮助。

【讨论】：