如何通过启用 Hive 支持在 Windows 10 上本地运行 spark-sql 程序时修复异常？答案

【问题标题】：How to fix Exception while running locally spark-sql program on windows10 by enabling HiveSupport?如何通过启用 Hive 支持在 Windows 10 上本地运行 spark-sql 程序时修复异常？
【发布时间】：2019-04-05 15:01:08
【问题描述】：

我正在处理SPARK-SQL 2.3.1 和我正在尝试在创建会话时启用 hiveSupport，如下所示

.enableHiveSupport()
.config("spark.sql.warehouse.dir", "c://tmp//hive")

我在命令下运行

C:\Software\hadoop\hadoop-2.7.1\bin>winutils.exe chmod 777  C:\tmp\hive

在运行我的程序时：

原因：java.lang.RuntimeException：java.lang.RuntimeException：根暂存目录：HDFS 上的 /tmp/hive 应该是可写的。当前权限是：rw-rw-rw- 在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

如何解决这个问题并运行我的本地 Windows 机器？

【问题讨论】：

@Khal Dorgo 你能帮我解决这个问题吗
我使用 - winutils.exe chmod 777 /tmp/hive 解决了这个问题

标签： apache-spark-sql datastax cassandra-3.0

【解决方案1】：

尝试使用这个命令：

hadoop fs -chmod -R 777 /tmp/hive/

这是 Spark 异常，而不是 Windows。您需要为 HDFS 文件夹设置正确的权限，而不仅仅是本地目录。

【讨论】：

对不起，我正在使用带有 eclipseIDE 的本地 Windows 系统，我正在同一个程序上运行该程序...不确定 linux 命令如何在 Windows 上运行？
当我设置这个“.enableHiveSupport()”时，只有我看到这个错误。