【问题标题】:spark-shell initiation error /tmp/hive not writablespark-shell 启动错误 /tmp/hive 不可写
【发布时间】:2017-11-29 22:58:28
【问题描述】:

我已经在 windows box 上安装了 Scala、Spark、SBT 和 winutils。还适当地配置了 JAVA_HOME、SPARK_HOME、SCALA_HOME、SBT_HOME。尽管如此,当我尝试运行“spark-shell”时,我遇到了一个非常常见的问题,我看到很多人都面临过。 我尝试通过 winutils 以及 Windows 资源管理器访问 c:/tmp/hive 目录。然而同样的问题。如果有人能告诉我我可能还缺少什么,我将不胜感激? 版本: 火花:2.1.1 斯卡拉:2.11 以下是屏幕截图的链接: https://filedropper.com/filemanager/public.php?service=files&t=b5cc12549b9ae19ff969c65cb952c135

https://filedropper.com/filemanager/public.php?service=files&t=cb5b9b8f14980963be6f0a6511f71455

https://filedropper.com/filemanager/public.php?service=files&t=a2d471abfe57ca020a700c226b906faf

感谢您的帮助! 谢谢, 马尼什

【问题讨论】:

  • spark-shell 不需要读取 /tmp/hive,直到您启用 HiveSupport...
  • spark-shell 确实使用启用 Hive 的 SparkSession,因此需要正确配置该层。

标签: scala hadoop apache-spark


【解决方案1】:

谢谢 cricket_007 和 Jacek。我很欣赏你的cmets。 结果发现与 winutils 的版本兼容性存在问题。不得不尝试几个版本,直到正确的版本更改了 /tmp/hive 的权限

【讨论】:

    猜你喜欢
    • 2016-09-23
    • 2018-11-04
    • 1970-01-01
    • 1970-01-01
    • 2019-07-16
    • 1970-01-01
    • 2017-07-13
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多