使用腻子找不到目录火花

【问题标题】：Can't find directory spark using putty使用腻子找不到目录火花
【发布时间】：2021-12-08 05:12:12
【问题描述】：

我试图使用 putty 在 hdfs 上运行 spark 代码。

spark-submit WorstMoviesSpark.py

但是当我输入上面的代码时，它返回了一个错误：

python: can't open file '/home/maria_dev/WorstMoviesSpark.py': [Errno 2] No such file or directory

*edit：我只是愚蠢。我在本地而不是 hdp 上加载了我的代码。虽然有用的答案

【问题讨论】：

【解决方案1】：

您没有通过 Spark 执行代码文件所需的权限。运行以下命令 hdfs dfs -chmod 777 WorstMoviesSpark.py 然后在您的 spark-submit 命令中，在运行代码时将 master 称为 yarn，如下所示

spark-submit --master yarn --deploy-mode client /hdfs/path/to/WorstMoviesSpark.py

【讨论】：