【发布时间】:2017-11-29 22:58:28
【问题描述】:
我已经在 windows box 上安装了 Scala、Spark、SBT 和 winutils。还适当地配置了 JAVA_HOME、SPARK_HOME、SCALA_HOME、SBT_HOME。尽管如此,当我尝试运行“spark-shell”时,我遇到了一个非常常见的问题,我看到很多人都面临过。 我尝试通过 winutils 以及 Windows 资源管理器访问 c:/tmp/hive 目录。然而同样的问题。如果有人能告诉我我可能还缺少什么,我将不胜感激? 版本: 火花:2.1.1 斯卡拉:2.11 以下是屏幕截图的链接: https://filedropper.com/filemanager/public.php?service=files&t=b5cc12549b9ae19ff969c65cb952c135
https://filedropper.com/filemanager/public.php?service=files&t=cb5b9b8f14980963be6f0a6511f71455
https://filedropper.com/filemanager/public.php?service=files&t=a2d471abfe57ca020a700c226b906faf
感谢您的帮助! 谢谢, 马尼什
【问题讨论】:
-
spark-shell不需要读取/tmp/hive,直到您启用 HiveSupport... -
spark-shell确实使用启用 Hive 的SparkSession,因此需要正确配置该层。
标签: scala hadoop apache-spark