运行示例 Spark Livy 作业时出现“内部服务器错误：会话处于启动状态”错误答案

【问题标题】："Internal Server Error: Session is in state starting" error while running sample Spark Livy job运行示例 Spark Livy 作业时出现“内部服务器错误：会话处于启动状态”错误
【发布时间】：2017-07-20 23:42:42
【问题描述】：

运行示例 Spark Livy 作业时出现“内部服务器错误：会话处于启动状态”错误。

我安装了 Livy 以使用 REST API 访问 apache-spark 并启动了 Livy 服务器。在运行示例 spark Pi 应用程序（如在 https://github.com/cloudera/livy 上给出）时，我收到错误消息“由：java.io.IOException：内部服务器错误：“java.lang.IllegalStateException：会话处于启动状态”。

线程“主”java.util.concurrent.ExecutionException 中的异常：java.io.IOException：内部服务器错误：“java.lang.IllegalStateException：会话处于启动状态” 在 com.cloudera.livy.client.http.JobHandleImpl.get(JobHandleImpl.java:201) 在 com.cloudera.livy.client.http.JobHandleImpl.get(JobHandleImpl.java:91) 在 PiApp.main(PiApp.java:96) 原因：java.io.IOException：内部服务器错误：“java.lang.IllegalStateException：会话处于启动状态” 在 com.cloudera.livy.client.http.LivyConnection.sendRequest(LivyConnection.java:197) 在 com.cloudera.livy.client.http.LivyConnection.sendJSONRequest(LivyConnection.java:173) 在 com.cloudera.livy.client.http.LivyConnection.post(LivyConnection.java:149) 在 com.cloudera.livy.client.http.JobHandleImpl$1.run(JobHandleImpl.java:145) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)

【问题讨论】：

标签： apache-spark livy

【解决方案1】：

即使我从 Eclipse 运行 PiApp.java 并连接到远程 Livy 服务器时也遇到了同样的错误。但是当我直接在安装了 Livy 和 Spark 的远程服务器上运行相同的 PiApp jar 时，它运行良好......

java -cp /home/Anshul/livy/spark-core_2.10-1.6.0.jar:/home/Anshul/livy/livy-api-0.3.0.jar:/home/Anshul/livy/livy -client-http-0.3.0.jar:/home/Anshul/livy/LivyApp-0.0.1-SNAPSHOT.jar com.cloudera.livy.examples.PiApp http://sandbox.hortonworks.com:89982

【讨论】：

谢谢。我们不应该使用 spark-submit 运行它吗？我一直在尝试使用 SparkSubmit 运行它。
我试过这个命令：java -cp LivyClient1-jar-with-dependencies.jar:/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p1464.1349/jars /spark-core_2.10-1.6.0-cdh5.7.0.jar:/home/ubuntu/softwares/livy-server-0.2.0/jars/livy-api-0.2.0.jar:/home/ubuntu/softwares /livy-server-0.2.0/jars/livy-client-common-0.2.0.jar PiApp hostname:8998 2 。但是它给出了相同的错误：引起：java.io.IOException：内部服务器错误：“java.lang.IllegalStateException：会话处于启动状态”com.cloudera.livy.client.http.LivyConnection.sendRequest（LivyConnection.java： 197）
Spark-Submit 在这里绝对不适用，因为 Livy Server 的主要职责是避免我们的客户端应用程序打扰 Spark 上下文并提交...至于您的错误，请尝试使用 livy 0.3.0对我有用的罐子....虽然从技术上讲，当我直接从 Eclipse 运行时，我无法解决这个问题。我已经将我的 Livy 应用程序转换为 Spring Boot 应用程序，但仍然会出现这个错误......我能够成功运行它的唯一方法是在外部使用 livy jar 0.3.0，如 java -cp
谢谢。将其更改为版本 0.3.0 并尝试。
谢谢。使用版本 0.3.0 我没有收到该错误。现在我面临另一个问题，即使用 Livy Rest 请求提交 spark 作业会使作业进入死状态。{"id":12,"state":"dead","appId":null,"appInfo":{"driverLogUrl ":null,"sparkUiUrl":null}