新的 Spark StreamingContext 因 hdfs 错误而失败答案

【问题标题】：new Spark StreamingContext failes with hdfs errors新的 Spark StreamingContext 因 hdfs 错误而失败
【发布时间】：2016-07-22 20:56:02
【问题描述】：

我正在使用通过 Azure ACS 安装的 dcos，并通过带有默认选项的 dcos 工具安装 hdfs 和 spark。

创建 SparkStreamingContext 给出：

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Exception in thread "main" java.lang.IllegalArgumentException:
java.net.UnknownHostException: namenode1.hdfs.mesos

我希望我必须使用带有-options= 的dcos package install 重新部署spark 包，但无法弄清楚hdfs.config-url 应该是什么。 https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfs 文档似乎已过时。

【问题讨论】：

标签： apache-spark hdfs mesosphere dcos

【解决方案1】：

是的，它已经过时了。我们会解决这个问题。

DC/OS HDFS 现在在 http://hdfs.marathon.mesos:[port]/v1/connect 上提供其配置

【讨论】：