【问题标题】:Apache Spark with pip install not working带有 pip 安装的 Apache Spark 不起作用
【发布时间】:2017-11-19 04:49:31
【问题描述】:

我正在尝试使用 Python 安装 Apache Spark,并在 7 月 11 日的版本中使用了 pip install python 命令。但是,虽然这成功安装并且我可以运行

from pyspark import SparkContext

在 python shell 中,我无法通过运行访问 pyspark shell

pyspark

或火花提交,与

spark-submit.

两者的错误都是“找不到指定的路径”。我在 Windows 上,怀疑我缺少 spark 的 JAR 文件。 pip install 不应该解决这个问题吗?

【问题讨论】:

标签: python apache-spark pip pyspark


【解决方案1】:

您的路径中缺少pysparkspark-submit 位置(应为<spark install directory>\bin)。

您可以通过完全指定它们的位置、导航到它们的安装位置并运行pyspark 或将它们添加到您的系统路径来运行它们。

【讨论】:

  • 谢谢!这部分工作,但遇到了另一个错误。我导航到 Python27/Lib/site-packages/pyspark/bin,他们就在那里。但是,我如何收到以下消息:Failed to find Spark jars directory. You need to build Spark before running this program. 看起来我确实需要使用 Maven 构建它,但我认为 pip install 的全部意义在于避免这种情况? @timchap
  • 试试this question
  • 应该用谷歌搜索第二个错误。感谢您的帮助!
  • 没问题。如果我回答了您的原始问题,请考虑通过单击复选标记来接受答案。这向更广泛的社区表明您已经找到了解决方案,并为回答者和您自己提供了一些声誉。没有义务这样做。
  • 能否发布运行 pip 后找到 Spark 目录的完整路径?
猜你喜欢
  • 1970-01-01
  • 2018-10-19
  • 2021-05-29
  • 2018-11-20
  • 2014-08-29
  • 2020-12-11
相关资源
最近更新 更多