执行 spark-shell 时出现 Apache Spark 异常答案

【问题标题】：Apache Spark exception when executing spark-shell执行 spark-shell 时出现 Apache Spark 异常
【发布时间】：2016-05-26 20:31:43
【问题描述】：

我已经在单个节点上安装了 apache-spark。当我运行 spark-shell 时，出现以下异常。尽管出现异常，我仍然可以创建 RDD 并运行 scala 代码 sn-ps。

这是个例外：

16/02/15 14:21:29 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
16/02/15 14:21:31 WARN : Your hostname, Rahul-PC resolves to a loopback/non-reachable address: fe80:0:0:0:c0c1:cd2e:990d:17ac%e
java.lang.RuntimeException: java.lang.NullPointerException
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
        at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:171)
        at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:162)
        at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:160)
        at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:167)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
        at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028)
        at $iwC$$iwC.<init>(<console>:9)
        at $iwC.<init>(<console>:18)
        at <init>(<console>:20)
        at .<init>(<console>:24)
        at .<clinit>(<console>)
        at .<init>(<console>:7)
        at .<clinit>(<console>)
        at $print(<console>)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

我的JAVA_HOME设置为指向正确的jdk安装文件夹。

JAVA_HOME = C:\Program Files\Java\jdk1.8.0

我还有什么需要做的吗？请指教。

【问题讨论】：

似乎类似于这个问题：stackoverflow.com/q/32721647/1395437
你什么时候收到这个？启动 spark shell 还是在执行某些命令时？

标签： apache-spark spark-streaming

【解决方案1】：

我找到了解决方案。 Spark 需要 winutils.exe 来初始化配置单元上下文。运行 spark shell 时创建的 C:\Windows\tmp 文件夹也需要有足够的权限。

http://blogs.msdn.com/b/arsen/archive/2016/02/09/resolving-spark-1-6-0-quot-java-lang-nullpointerexception-not-found-value-sqlcontext-quot-error-when-running-spark-shell-on-windows-10-64-bit.aspx

【讨论】：