【问题标题】:sparklyr : Error in validate_java_version_line(master, version)sparklyr:validate_java_version_line(master,version)中的错误
【发布时间】:2019-08-01 04:36:14
【问题描述】:
R version 3.5.2 (2018-12-20) -- "Eggshell Igloo" Copyright (C) 2018
The R Foundation for Statistical Computing Platform:
x86_64-apple-darwin15.6.0 (64-bit)

运行这些命令后:

library(sparklyr)
sc <- spark_connect(master = "local")

我收到了这条消息:

* Using Spark: 2.4.0
Error in validate_java_version_line(master, version) : 
  Java version detected but couldn't parse version from: openjdk version "11.0.2" 2019-01-15

我找到了这个案例https://github.com/rstudio/sparklyr/issues/1922

但不确定我是否可以做一些具体的事情(以及如何)来克服这种受阻的情况。提前致谢。

【问题讨论】:

  • Spark 目前不支持 JDK > 8。所以你唯一能做的就是降级JDK。
  • 感谢您的澄清。

标签: r apache-spark sparklyr


【解决方案1】:
  1. 安装 Java 8。您可以从 https://aws.amazon.com/corretto/ 安装一个(Java 8 选择 Coretto 8)。
  2. 转到终端并使用正确的JAVA_HOME env 变量集运行 R:
JAVA_HOME=`/usr/libexec/java_home -v 1.8` R

或者如果你想启动 RStudio:

JAVA_HOME=`/usr/libexec/java_home -v 1.8` 打开/Applications/RStudio.app

【讨论】:

    【解决方案2】:

    在将 JDK 从 8(在 Ubuntu 16.04 上)升级到 11(在 Ubuntu 18.04 上)时,我遇到了完全相同的问题。 JDK 8 可能仍在您的系统中,因此您可以通过以下方式轻松降级:

    update-java-alternatives --list
    sudo update-java-alternatives --set java-1.8.0-openjdk-amd64
    

    现在sc &lt;- spark_connect(master = "local") 有效。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2014-07-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多