【发布时间】:2017-10-19 17:26:35
【问题描述】:
我对 sparklyr 的简单安装非常满意。
spark_install(version = "2.1.0", hadoop_version = "2.7")
安装完成。
但安装后我想连接 spark 我收到以下错误消息。文件夹 C:/spark 不存在,因为 RStudio 在我的用户下安装了 spark 的命令。
> sc <- spark_connect(master = "local")
在:C:\spark\tmp\hadoop 错误下创建了默认的 hadoop bin 目录 在 spark_version_from_home(spark_home, default = spark_version) :
无法从 SPARK_HOME 或 SPARK_HOME_VERSION 检测版本。尝试 明确传递火花版本。另外:警告信息: 1:在 dir.create(hivePath, recursive = TRUE) 中:无法创建目录 'C:\spark', 原因 'Permission denied' 2: 在 dir.create(hadoopBinPath, recursive = TRUE) : 无法创建目录 'C:\spark',原因是 'Permission denied' 3:在 file.create(to[okay]) 中:无法创建文件 'C:\spark\tmp\hadoop\bin\winutils.exe',原因'没有这样的文件或 目录'4:运行命令'"C:\spark\tmp\hadoop\bin\winutils.exe" chmod 777 "C:\spark\tmp\hive"' 状态为 127 >
有人知道解决方案吗?
编辑:
我已将文件夹复制到 C:/spark,现在它可以工作了。但我收到以下错误消息:
在:C:\spark\tmp\hadoop 错误下创建了默认的 hadoop bin 目录 在 start_shell (master = master, spark_home = spark_home, spark_version = 版本,:sparklyr 目前不支持 Spark 版本:2.1.0
但是这个版本是在:spark_available_versions() 下列出的
我可以安装哪个版本的最新版本?
【问题讨论】:
标签: r apache-spark sparklyr