在 Windows 上为 sparklyr 安装 Spark答案

【问题标题】：Install Spark on Windows for sparklyr在 Windows 上为 sparklyr 安装 Spark
【发布时间】：2017-03-31 06:06:23
【问题描述】：

我尝试了几个关于在 Windows 环境中设置 Spark 和 Hadoop 的教程，尤其是在 R 环境中。This one 在我点击图 9 时导致了这个错误：

This tutorial from Rstudio 也给我带来了问题。当我到达

sc <- spark_connect(master = "local")

步骤，我得到了这个熟悉的错误：

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
    Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
    Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library\3.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652


---- Output Log ----
The system cannot find the path specified.

---- Error Log ----

此端口问题与我在尝试在 spark_connect(...) 中分配 "yarn-client" 参数时遇到的问题类似，在 Zaidi 女士的教程 here 中进行尝试。（该教程有其自身的问题，如果有人感兴趣，我已将其放在板上，here。）

TutorialsPoint 演练可以让我在第一次安装 Ubuntu VM 时顺利完成，但我使用的是 Microsoft R(RO)，所以我想在 Windows 中解决这个问题，尤其是因为看起来Emaasit 先生在第一个教程中能够运行我无法使用 .\bin\sparkR 运行的命令。

通常我想了解如何在 Windows 中使用最好的 sparklyr 安装和运行 Spark 和 R。

更新 1：这是目录中的内容：

更新 2：这是我的 R 会话和系统信息

platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          3.1                         
year           2016                        
month          06                          
day            21                          
svn rev        70800                       
language       R                           
version.string R version 3.3.1 (2016-06-21)
nickname       Bug in Your Hair

【问题讨论】：

您的 spark 安装在哪里？您的错误图片引用了目录C:\Apache\Spark-2.0.2。它真的存在于该位置吗？还是安装在其他地方？里面有bin\sparkR吗？您的其他代码引用了不同的文件位置C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7，您的安装是否在那里？ Parameters 行中的库文件路径是否正确？
按照第一个教程，我只是解压缩到该目录。那里有一个bin\sparkR，是的，还有spark-shell，它也没有运行，同样的错误。我将用@Gregor 目录中的图片更新帖子
@Gregor 要清楚，R 代码中的其他文件位置被引用作为对install.packages("sparklyr") 的调用放置文件的位置。该目录中还有bin/sparkR 和bin/spark-shell。

标签： r hadoop apache-spark sparkr sparklyr

【解决方案1】：

从以下位置下载 spark_hadoop tar http://spark.apache.org/downloads.html
从 carn 安装 sparklyr 包
spark_install_tar(tarfile = "path/to/spark_hadoop.tar")

如果还是报错，手动解压tar，设置spark_home环境变量指向spark_hadoop解压路径。

然后尝试在 R 控制台中执行以下命令。库（sparklyr）sc

【讨论】：