无法解析主 URL：“spark.bluemix.net”答案

【问题标题】：Could not parse Master URL: 'spark.bluemix.net'无法解析主 URL：“spark.bluemix.net”
【发布时间】：2017-07-27 11:33:28
【问题描述】：

我正在尝试从我的台式机上运行的 RStudio 连接到 IBM 的 Spark as a Service，该服务在 Bluemix 上运行。

我已经从运行在 IBM 的 Data Science Experience 上的自动配置的 RStudio 环境中复制了 config.yml：

default:
    method: "shell"

CS-DSX:
    method: "bluemix"
    spark.master: "spark.bluemix.net"
    spark.instance.id: "myinstanceid"
    tenant.id: "mytenantid"
    tenant.secret: "mytenantsecret"
    hsui.url: "https://cdsx.ng.bluemix.net"

我正在尝试这样连接：

install.packages("sparklyr")

library(sparklyr)
spark_install(version = "1.6.2") # installed spark to '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6'

spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6'

config = spark_config(file = "./config.yml", use_default = FALSE, config = "CSX-DSX")

sc <- spark_connect(spark_home = spark_home, config = config)

错误：

17/03/07 09:36:19 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Could not parse Master URL: 'spark.bluemix.net'
    at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2735)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:522)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281)
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    ...

在 stackoverflow 上还有一些其他问题带有类似的错误消息，但它们并未尝试连接到在 Bluemix 上运行的 Spark 服务。

更新 1

我已将 config.yml 更改为如下所示：

default:
    method: "bluemix"
    spark.master: "spark://spark.bluemix.net:7070"
    spark.instance.id: "7a4089bf-3594-4fdf-8dd1-7e9fd7607be5"
    tenant.id: "sdd1-7e9fd7607be53e-39ca506ba762"
    tenant.secret: "6146a713-949f-4d4e-84c3-9913d2165b9e"
    hsui.url: "https://cdsx.ng.bluemix.net"

...和我的连接代码如下所示：

install.packages("sparklyr")
library(sparklyr)
spark_install(version = "1.6.2")
spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6'
config = spark_config(file = "./config.yml", use_default = FALSE)
sc <- spark_connect(spark_home = spark_home, config = config)

但是，现在的错误是：

Error in force(code) : 
  Failed during initialize_connection: java.lang.NullPointerException
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:583)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281)
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at sparklyr.Invoke$.invoke(invoke.scala:94)
    ...

【问题讨论】：

标签： apache-spark ibm-cloud rstudio sparklyr data-science-experience

【解决方案1】：

库试图解析一个 URL，但你给它一个主机名。

试试spark://spark.bluemix.net 换成spark.master。

【讨论】：

与 URL 相同的错误。我猜它也需要一个端口。不知道应该是什么。
根据这个答案，架构应该是 spark: 而不是 http:stackoverflow.com/a/27250746/5629418

【解决方案2】：

请按照博文http://datascience.ibm.com/blog/access-ibm-analytics-for-apache-spark-from-rstudio/ 从 DSX RStudio 连接 Bluemix SparkaaS。

【讨论】：

嗨@Mahesh，正如离线讨论的那样，我需要从桌面上运行的 RStudio 进行连接。

【解决方案3】：

我收到了工程团队的以下回复：

RStudio 桌面版目前不支持使用 sparklyr 包连接 Bluemix SparkaaS 服务

【讨论】：