如何将 sparlyr 连接到 spark 独立集群答案

【问题标题】：How to connect sparlyr in to a spark standalone cluster如何将 sparlyr 连接到 spark 独立集群
【发布时间】：2019-01-05 11:23:57
【问题描述】：

这就是我尝试连接到集群的方式

Sys.setenv(SPARK_HOME="/usr/local/Cellar/apache-spark/2.3.1/")
config <- spark_config()
sc <- spark_connect(master = "spark://192.168.0.100:7077", config = 
config, version = '2.3.1')

这是结果：

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (88284): Gateway in port (8880) did not respond.
Path: /usr/local/Cellar/apache-spark/2.3.1/bin/spark-submit
Parameters: --class, sparklyr.Shell, '/Library/Frameworks/R.framework/Versions/3.4/Resources/library/sparklyr/java/sparklyr-2.3-2.11.jar', 8880, 88284
Log: /var/folders/dw/mx796jyn2ydgw0fj536q21tm0000gn/T//RtmpeStX3x/file27531f8f123_spark.log
---- Output Log ----


---- Error Log ----

【问题讨论】：

标签： r apache-spark sparklyr

【解决方案1】：

在查看了几个解决方案之后，这是一个简单的方法。问题是我在 Brew 安装的 Mac 上使用 spark，因此路径是 libexec 中仅 2.3.1 的一个文件夹 - 因此现在它工作得很好。

sc <- spark_connect(master="spark://192.168.0.100:7077", 
                    version = "2.3.1",
                    config = conf,
                    spark_home = "/usr/local/Cellar/apache-spark/2.3.1/libexec/

【讨论】：