安装 Netty 时 Apache Spark 编译失败答案

【问题标题】：Apache Spark compile failed while installing Netty安装 Netty 时 Apache Spark 编译失败
【发布时间】：2014-04-23 11:23:27
【问题描述】：

我们解压 spark-0.9.0-incubating.tgz 并尝试构建它以与 Yarn 一起使用。

SPARK_HADOOP_VERSION=2.0.0-cdh4.6.0 SPARK_YARN=true sbt/sbt assembly

... [信息] 解决 io.netty#netty-all;4.0.13.Final ... [错误] 服务器访问错误：连接超时 url=https://oss.sonatype.org/content/repositories/snapshots/io/netty/netty-all/4.0.13.Final/netty-all-4.0.13.Final.pom [错误] 服务器访问错误：连接超时 url=https://oss.sonatype.org/service/local/staging/deploy/maven2/io/netty/netty-all/4.0.13.Final/netty-all-4.0.13.Final.pom ...

如果我只是将网址剪切粘贴到浏览器中，我会得到：

404 - ItemNotFoundException

Retrieval of /io/netty/netty-all/4.0.13.Final/netty-all-4.0.13.Final.pom from M2Repository(id=snapshots) is forbidden by repository policy SNAPSHOT.

org.sonatype.nexus.proxy.ItemNotFoundException: Retrieval of /io/netty/netty-all/4.0.13.Final/netty-all-4.0.13.Final.pom from M2Repository(id=snapshots) is forbidden by repository policy SNAPSHOT.
    at org.sonatype.nexus.proxy.maven.AbstractMavenRepository.doRetrieveItem(AbstractMavenRepository.java:380)
    at org.sonatype.nexus.proxy.maven.maven2.M2Repository.doRetrieveItem(M2Repository.java:396)
    at org.sonatype.nexus.proxy.repository.AbstractRepository.retrieveItem(AbstractRepository.java:765)
    at org.sonatype.nexus.proxy.repository.AbstractRepository.retrieveItem(AbstractRepository.java:608)
    at org.sonatype.nexus.proxy.router.DefaultRepositoryRouter.retrieveItem(DefaultRepositoryRouter.java:155)
    at org.sonatype.nexus.web.content.NexusContentServlet.doGet(NexusContentServlet.java:359)
    at org.sonatype.nexus.web.content.NexusContentServlet.service(NexusContentServlet.java:331)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:848)

我在很多地方都看到过这种情况，但没有解决方案。这个错误是因为我们在公司防火墙后面，还是因为其他原因？请指教。

【问题讨论】：

标签： apache-spark

【解决方案1】：

我将代理设置为环境变量，但似乎它们没有被拾取。直接将它们添加到 sbt 中对我有用。

编辑 $SPARK_HOME/sbt/sbt

例如，

EXTRA_ARGS="-Dhttp.proxySet=true -Dhttp.proxyHost=myproxy.mycompany.com -Dhttp.proxyPort=80 -Dhttps.proxySet=true -Dhttps.proxyHost=myproxy.mycompany.com -Dhttps.proxyPort=80 -Dftp.proxySet=true -Dftp.proxyHost=myproxy.mycompany.com -Dftp.proxyPort=80 -Dhttp.nonProxyHosts=mydomain -Dhttps.nonProxyHosts=mydomain -Dftp.nonProxyHosts=mydomain"

【讨论】：