在 Windows 10 或 7 的 Apache Zeppelin 中运行 spark 程序时出错

Question

我是 Apache Zeppelin 的新手。安装 0.8.0 并使用 7000 端口访问 Zeppelin。配置了一些路径，如下所述。

JAVA_HOME: C:\Program Files\Java\jdk1.8.0_144 HADOOP_HOME: C:\winutils ZEPPELIN_HOME: C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all

所有这些变量都包含在路径变量和相应的 bin 文件夹中

尝试运行 spark 程序并得到以下错误。尝试了多个选项来修复它，但无法解决。请帮忙。

Spark 计划： ％火花 println(sc.appName)

错误： 调试 [2018-07-29 00:06:05,371] ({pool-2-thread-2} RemoteInterpreterManagedProcess.java[start]:153) - callbackServer 正在服务 INFO [2018-07-29 00:06:05,380] ({pool-2-thread-2} RemoteInterpreterManagedProcess.java[start]:190) - 运行解释器进程 [C:\zeppelin\zeppelin-0.8.0-bin- all\zeppelin-0.8.0-bin-all\bin\interpreter.cmd, -d, C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all/interpreter/spark, -c, 10.120.44.23, -p, 57136, -r, :, -l, C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all/local-repo/spark , -g, 火花] 调试 [2018-07-29 00:06:09,625] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 警告：本地 jar C:\Users\vvellabo\57136 不存在，正在跳过。 调试 [2018-07-29 00:06:09,626] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 警告：本地 jar C:\Users\vvellabo\10.120.44.23 不存在，正在跳过。 调试 [2018-07-29 00:06:09,627] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - java.lang.ClassNotFoundException: org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 调试 [2018-07-29 00:06:09,628] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.net.URLClassLoader.findClass(URLClassLoader.java:381) 调试 [2018-07-29 00:06:09,630] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.ClassLoader.loadClass(ClassLoader.java:424) 调试 [2018-07-29 00:06:09,632] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.ClassLoader.loadClass(ClassLoader.java:357) 调试 [2018-07-29 00:06:09,633] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.Class.forName0(Native Method) 调试 [2018-07-29 00:06:09,634] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.Class.forName(Class.java:348) 调试 [2018-07-29 00:06:09,635] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.util.Utils$.classForName(Utils.scala:238) 调试 [2018-07-29 00:06:09,641] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit $$runMain(SparkSubmit.scala:851) 调试 [2018-07-29 00:06:09,642] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198) 调试 [2018-07-29 00:06:09,644] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228) 调试 [2018-07-29 00:06:09,645] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) 调试 [2018-07-29 00:06:09,647] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 调试 [2018-07-29 00:06:09,656]（{Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298） - 2018-07-29 00:06:09 信息 ShutdownHookManager:54 - 已调用关闭挂钩 调试 [2018-07-29 00:06:09,659]（{Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298）-2018-07-29 00:06:09 信息 ShutdownHookManager:54-删除目录 C:\Users \vvellabo\AppData\Local\Temp\spark-427c3202-c243-4761-86ce-ea51a27a881c INFO [2018-07-29 00:06:09,747] ({Exec Default Executor} RemoteInterpreterManagedProcess.java[onProcessFailed]:250) - 解释器进程失败{} org.apache.commons.exec.ExecuteException：进程退出并出现错误：101（退出值：101） 在 org.apache.commons.exec.DefaultExecutor.executeInternal（DefaultExecutor.java:404） 在 org.apache.commons.exec.DefaultExecutor.access$200（DefaultExecutor.java:48） 在 org.apache.commons.exec.DefaultExecutor$1.run(DefaultExecutor.java:200) 在 java.lang.Thread.run(Thread.java:748) 错误 [2018-07-29 00:07:05,382] ({pool-2-thread-2} Job.java[run]:190) - 作业失败 java.lang.RuntimeException：警告：本地 jar C:\Users\vvellabo\57136 不存在，正在跳过。 警告：本地 jar C:\Users\vvellabo\10.120.44.23 不存在，正在跳过。

谢谢 vvell

Answer 1

我遇到了类似的问题。继续回到这个问题，以防有人解决它。

This link will help you!

如果您不想完成这些步骤，只需删除 SPARK_HOME 环境变量。 Zeppelin 拥有自己的火花罐库。 接下来去

%Zeppelin_HOME%\conf\

并重命名

zeppelin-env.cmd.template 到 zeppelin-env.cmd

并添加以下行：

set JAVA="C:\Program Files\Java\jdk1.8.0_181"
set JAVA_HOME="%JAVA%"

确保输入正确的 jdk 路径。 保存并使用命令bin\zeppelin.cmd 启动 zepplin
您的 Spark 齐柏林飞艇已准备就绪！通过运行任何简单代码进行确认：例如，sc.version

希望这会有所帮助！