给定 --driver-class-path 时，spark 找不到 spark-class-launcher-output 文件答案

【问题标题】：spark could not find spark-class-launcher-output file when given --driver-class-path给定 --driver-class-path 时，spark 找不到 spark-class-launcher-output 文件
【发布时间】：2016-07-11 00:05:35
【问题描述】：

我正在努力让 spark 与 aws 配合得很好。在 Windows 环境中工作。

无论我尝试了哪些选项，都找不到 NativeS3 类。目前，如果我使用：spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.10.38,com.amazonaws:aws-java-sdk-core:1.10.38,org.apache.hadoop:hadoop-aws:2.7.1 作为我的命令，那么我将下载文件并可以使用 s3，但是感觉 hacky 并且每次都下载它们并不理想。

在另一个人的帮助下，我一直在尝试其他导致：

>spark-shell --driver-class-path=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar" --verbose

复制不存在的文件时出错，我更改了 temp 的路径只是为了解决权限问题，但此错误仍然存在：

   C:\java_1.7\jdk1.7.0_79\bin\java -cp "C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbose > c:\temp\spark-class-launcher-output-4879.txt;C:\Spark\bin\..\conf
Xms1g -Xmx1g "-XX:MaxPermSize=256m" org.apache.spark.deploy.SparkSubmit --conf "spark.driver.extraClassPath=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbo
The system cannot find the file c:\temp\spark-class-launcher-output-4879.txt.
Could Not Find c:\temp\spark-class-launcher-output-4879.txt

它已被精确定位到spark-class2.cmd 文件中的这一特定行，但我不知道如何解决它。

https://github.com/apache/spark/blob/master/bin/spark-class2.cmd#L59

任何人都可以解释一下吗？提前谢谢你

【问题讨论】：

您可以尝试将 master 设置为类似的东西，例如 >spark-shell --master local[*] ... 吗？

标签： hadoop amazon-web-services amazon-s3 apache-spark

【解决方案1】：

引起我注意的一件事是错误中的驱动器号

c:\temp\spark-class-launcher-output-4879.txt.

这是较小的情况。检查 spark-class2.cmd 的代码表明它读出了 %temp% 变量。

你能在windows命令行中运行echo %temp%看看设置了什么吗？

如果设置为小写，则只需运行set temp=C:\temp

然后使用驱动程序类运行 spark-shell。

谢谢，

查尔斯。

【讨论】：

嗨，Charles，感谢您抽出宝贵时间回答。我最终在本地手动更新文件并硬编码路径 btu 的字符串，但仍然存在相同的错误。然后我发现我可以使用 --jars 标志来代替，它现在可以工作了，很奇怪。我不擅长知道它是否工作正常，但 --driver--class-path 的帮助暗示 --jars 将自动添加到路径中 - 我现在面临一个封闭的端口问题:(这种疯狂永远不会结束了吗？

【解决方案2】：

我也有这样的问题有一段时间了。后来我发现JAVA_HOME 路径配置错误的问题。一旦我配置了明确的路径，问题就解决了。

另外，请尝试按照链接中提到的说明进行操作： https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html

【讨论】：