如何更改 RStudio 中的 spark.r.backendConnectionTimeout 值？答案

【问题标题】：how to change spark.r.backendConnectionTimeout value in RStudio?如何更改 RStudio 中的 spark.r.backendConnectionTimeout 值？
【发布时间】：2019-05-31 09:03:44
【问题描述】：

我正在使用 RStudio 通过 SparkR 连接到我的 HDFS 文件。当我让 Spark 分析在一夜之间运行时，第二天我会收到“R session aborted”错误。从 Spark 关于 SparkR (https://spark.apache.org/docs/latest/configuration.html) 的文档中，spark.r.backendConnectionTimeout 的默认值设置为 6000s。我想将此值更改为在分析完成后我的连接不会超时的大值。

我尝试了以下方法：

sparkR.session(master = "local[*]", sparkConfig = list(spark.r.backendConnectionTimeout = 10))
sparkR.session(master = "local[*]", spark.r.backendConnectionTimeout = 10)

两个命令的输出相同：

Spark package found in SPARK_HOME: C:\Spark\spark-2.3.2-bin-hadoop2.7
Launching java with spark-submit command C:\Spark\spark-2.3.2-bin-hadoop2.7/bin/spark-submit2.cmd   sparkr-shell C:\Users\XYZ\AppData\Local\Temp\3\RtmpiEaE5q\backend_port696c18316c61 
Java ref type org.apache.spark.sql.SparkSession id 1

好像参数没有正确传递。另外，我不确定在哪里传递该参数。任何帮助将不胜感激。

有一个类似的帖子，但涉及 Zeppelin (how to change spark.r.backendConnectionTimeout value?)。

谢谢。

【问题讨论】：

标签： rstudio sparkr connection-timeout

【解决方案1】：

我找到了解决办法：就是修改spark-defaults.conf文件，增加如下一行： spark.r.backendConnectionTimeout = 6000000

（或任何你想要的时间限制）

重要提示 - 重新启动 hadoop 和 yarn 服务，然后尝试使用 SparkR 正常连接到 Spark：

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR.session(master = "local")

您可以在http://localhost:4040/environment/查看设置是否发生

我希望这对其他人有用。

【讨论】：