如何在 python 脚本中使用 pyspark 模块？

Question

我下载了 pyspark 模块，我想在我的 IDE (Spyder) 中使用它。但它根本不起作用。我输入了 export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 以将其包含在 python 路径中，但我得到的消息仍然是“没有名为 pyspark 的模块”。 我是否总是必须使用 pyspark 控制台才能使用 spark 模块？有没有办法在其他python IDE中直接使用模块？

Answer 1

首先从 sparkwebsite 下载源。然后从这个website下载并安装sbt。现在转到下载的spark源中的sbt文件夹。使用之前安装的 sbt 包运行 sbt 文件。它将开始构建，大约需要 30 分钟才能完成。有关更多信息，请转到此link。 请记住，您应该在 PC/笔记本电脑中安装最新版本的 JDK。从here获取JDK。构建后，按照spark网站给出的命令创建pyspark PYTHONPATH和环境。您也可以在 spyder 上执行此操作。