Livy REST Spark java.io.FileNotFoundException：答案

【问题标题】：Livy REST Spark java.io.FileNotFoundException:Livy REST Spark java.io.FileNotFoundException：
【发布时间】：2019-08-08 18:16:36
【问题描述】：

我是 BigData 的新人，我曾尝试使用 apache Livy 调用 spark 作业。使用提交命令行可以正常工作。和 livy 我有一个例外

命令行：

curl -X POST --data '{"file": "/user/romain/spark-examples.jar", "className": "org.apache.spark.examples.SparkPi"}' -H '内容-类型：application/json'http://localhost:8998/batches
Livy 日志：

2019-06-01 00:43:19,160 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" java.io.FileNotFoundException: File hdfs://localhost:9000/home/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar does not exist. at org.apache.hadoop.hdfs.DistributedFileSystem.listStatusInternal(DistributedFileSystem.java:795) .......org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

【问题讨论】：

报错中提到的jar是否存在（是否可以在指定位置访问）。
是的 jar 存在并提交执行：./bin/spark-submit --class org.apache.spark.examples.SparkPi --conf spark.executor.cores=2 examples/jars/spark -examples_2.11-2.4.3.jar 100 2019-06-03 22:55:19,494 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类 Pi 大约为 3.1418867141886713
该命令正在使用您的本地文件系统，而不是 HDFS。试试hadoop fs -ls hdfs://localhost:9000/home/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar 看看同样的异常
@cricket_007 结果是没有这样的文件或目录
对...所以您需要执行 hadoop fs -copyFromLocal 以从本地路径复制到该 HDFS 路径（也可能首先是 hadoop fs -mkdir /home）

标签： apache-spark hadoop pyspark livy

【解决方案1】：

与执行 hadoop fs -copyFromLocal 命令行解决的 @cricket_007 评论相关

【讨论】：

【解决方案2】：

如果它在本地机器上，请尝试使用'file':'local:<path/to/file>

【讨论】：