在 hadoop 和 yarn 上安装 pyspark

【问题标题】：Installing pyspark on hadoop and yarn在 hadoop 和 yarn 上安装 pyspark
【发布时间】：2014-08-19 04:24:05
【问题描述】：

我在hadoop 和yarn 上安装了spark。当我启动 pyspark shell 并尝试计算一些东西时，我得到了这个错误。

Error from python worker:
  /usr/bin/python: No module named pyspark

pyspark 模块应该在那里，我必须放一个外部链接吗？

【问题讨论】：

【解决方案1】：

我也遇到了同样的问题。这是由于使用 Java7 构建 Spark。使用 Java6 应该可以修复它。这实际上是 python 的错 - 它的 zipimport 模块不支持 Java7 使用的 Zip64 格式来打包包含 65536+ 个文件的大型 Jar。这是帮助我的谷歌热门。 http://mail-archives.apache.org/mod_mbox/incubator-spark-user/201406.mbox/%3CCAMJOb8kcGk0PqiOGJu6UoKCeysWCuSW3xwd5wRs8ikpMgD2DAg@mail.gmail.com%3E

【讨论】：