在 R 中启动 spark 会话答案

【问题标题】：starting spark session within R在 R 中启动 spark 会话
【发布时间】：2019-10-16 20:51:09
【问题描述】：

我可以使用 SPARK_PATH 中的 sparkR 命令成功启动 spark 会话。但它确实给了我一个警告

In SparkR::sparkR.session() :
  Version mismatch between Spark JVM and SparkR package. JVM version was 2.3.0.xxxx , while R package version was 2.3.0

安装的spark版本为2.3.0.xxxx，其中xxxx是我们公司自己部署的spark版本的公司特定版本代码。

但是，当我尝试使用命令启动与 R 的火花会话时。

library(SparkR)
sparkR.session()

我收到以下错误：

Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap,  :
  Unexpected EOF in JVM connection data. Mismatched versions?

看起来我们的版本号确实不匹配，但独立的 sparkR 只会发出警告，而 R 中的 sparkR.session() 只会失败。我无法更改 Spark 安装的版本号，因为它是公司特定版本。我有什么办法可以解决这个问题吗？

我的 R 版本是 3.5.1，spark 版本是 2.3.0。

我正在尝试在 Jupyter 笔记本中使用 sparkR，因此在已建立的 R 会话中启动 spark 会话的能力更可取。

任何建议都将不胜感激。

【问题讨论】：

【解决方案1】：

我遇到了同样的问题，这通常是由于在 SPARK_HOME 目录的路径中存在空格“”

例如，如果 spark home 安装在 "C:/users/root/Sam folder/SPARK" 将此更改为 "C:/users/root/Samfolder/SPARK" 即删除空格

【讨论】：