【问题标题】:sparklyr - error after installationsparklyr - 安装后出错
【发布时间】:2017-10-19 17:26:35
【问题描述】:

我对 sparklyr 的简单安装非常满意。

spark_install(version = "2.1.0", hadoop_version = "2.7")

安装完成。

但安装后我想连接 spark 我收到以下错误消息。文件夹 C:/spark 不存在,因为 RStudio 在我的用户下安装了 spark 的命令。

 > sc <- spark_connect(master = "local")

在:C:\spark\tmp\hadoop 错误下创建了默认的 hadoop bin 目录 在 spark_version_from_home(spark_home, default = spark_version) :
无法从 SPARK_HOME 或 SPARK_HOME_VERSION 检测版本。尝试 明确传递火花版本。另外:警告信息: 1:在 dir.create(hivePath, recursive = TRUE) 中:无法创建目录 'C:\spark', 原因 'Permission denied' 2: 在 dir.create(hadoopBinPath, recursive = TRUE) : 无法创建目录 'C:\spark',原因是 'Permission denied' 3:在 file.create(to[okay]) 中:无法创建文件 'C:\spark\tmp\hadoop\bin\winutils.exe',原因'没有这样的文件或 目录'4:运行命令'"C:\spark\tmp\hadoop\bin\winutils.exe" chmod 777 "C:\spark\tmp\hive"' 状态为 127 >

有人知道解决方案吗?

编辑:

我已将文件夹复制到 C:/spark,现在它可以工作了。但我收到以下错误消息:

在:C:\spark\tmp\hadoop 错误下创建了默认的 hadoop bin 目录 在 start_shell (master = master, spark_home = spark_home, spark_version = 版本,:sparklyr 目前不支持 Spark 版本:2.1.0

但是这个版本是在:spark_available_versions() 下列出的

我可以安装哪个版本的最新版本?

【问题讨论】:

    标签: r apache-spark sparklyr


    【解决方案1】:

    看起来SPARK_HOME 已在您的环境中设置,而sparklyr 正在尝试使用它,而不是您使用sparklyr 安装的版本。在连接master="local" 之前,我会尝试运行Sys.unsetenv("SPARK_HOME")

    【讨论】:

      【解决方案2】:

      我已经安装了这个版本,一切正常:

      `spark_install(version = "2.0.0", hadoop_version = "2.6")
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2021-05-15
        • 2017-02-23
        • 2015-06-16
        • 1970-01-01
        • 1970-01-01
        • 2017-03-31
        • 2015-09-25
        相关资源
        最近更新 更多