Hive 无法设置暂存目录的权限答案

【问题标题】：Hive Could not set permission for staging directoryHive 无法设置暂存目录的权限
【发布时间】：2017-09-14 07:16:11
【问题描述】：

即使我在运行作业之前设置了 exec 目录和暂存目录，我的 hive 作业也会失败并出现以下错误，并且我不确定为什么默认属性没有得到更新。

SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;

例外：

17/09/13 11:30:42 [Thread-126]: 错误 mr.ExecDriver: 纱线 java.io.IOException：无法设置权限 /var/mapr/cluster/yarn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar 在 com.mapr.fs.MapRFileSystem.setPermission(MapRFileSystem.java:2100) 在 org.apache.hadoop.mapreduce.JobResourceUploader.copyJar(JobResourceUploader.java:248)

我还需要设置其他属性吗？谢谢

有一个类似的问题here，我已经在使用的属性。

【问题讨论】：

标签： hadoop apache-spark hive apache-spark-sql

【解决方案1】：

在 hive shell 中尝试以下配置属性来覆盖 hive-mapreduce AM 阶段目录。使用完整的 URI

yarn.app.mapreduce.am.staging-dir

http://doc.mapr.com/display/MapR/Default+mapred+Parameters

【讨论】：