pycharm：如何将 pyspark 导入 pycharm答案

【问题标题】：pycharm: How do I import pyspark to pycharmpycharm：如何将 pyspark 导入 pycharm
【发布时间】：2016-11-21 15:54:24
【问题描述】：

我已经在 Java/Scala 中完成了一些 spark 工作，只要我在 maven pom.xml 中添加所需的 spark jar，我就可以直接从 main() 程序运行一些测试 spark 工作。

现在我开始使用 pyspark。我想知道我是否可以做类似的事情？例如，我正在使用 pycharm 运行 wordCount 作业：

如果我只是运行 main() 程序，我得到以下错误：

Traceback (most recent call last):
  File "/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py", line 145, in <module>
    profiler.run(file)
  File "/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py", line 84, in run
    pydev_imports.execfile(file, globals, globals)  # execute the script
  File "/Users/edamame/PycharmProjects/myWordCount/myWordCount.py", line 6, in <module>
    from pyspark import SparkContext
ImportError: No module named pyspark

Process finished with exit code 1

我想知道如何在这里导入 pyspark？所以我可以像在 Java/Scala 中那样从 main() 程序运行一些测试作业。

我还尝试编辑解释器路径：

还有我的运行截图 -> 编辑配置：

最后是我的项目结构截图：

我在这里错过了什么吗？谢谢！

【问题讨论】：

您好像缺少 pyspark 模块？
How to link PyCharm with PySpark?的可能重复
我在 IntelliJ 中得到了这个工作（另外，我阅读了该帖子的其他答案），这是我的“解释器设置”窗口，其中突出显示了我添加的行。 i.stack.imgur.com/iltzW.png
这篇文章对我有帮助。不过，正如您所说，您使用的是 Java/Scala，所以当 IntelliJ IDEA 与 python 项目一起工作时，我不明白为什么需要普通的 PyCharm。 stackoverflow.com/a/36415945/2308683
我从 Eclipse 开始，但几年前转向了 IntellIj 的社区版本，它可以满足我的需求。如果不为 IntelliJ 付费，就无法进行 Java EE 或数据库连接，还有其他免费的方法。如果你喜欢 Python 的 PyCharm，那么 IntelliJ 中的任何 Java/Scala 工作都会非常相似。

标签： python-2.7 pycharm virtualenv pyspark

【解决方案1】：

我终于按照这篇文章中的步骤完成了它。真的很有帮助！

https://medium.com/data-science-cafe/pycharm-and-apache-spark-on-mac-os-x-990af6dc6f38#.jk5hl4kz0

【讨论】：

【解决方案2】：

我将 $SPARK_HOME/python/lib 下的 py4j-xxx-src.zip 和 pyspark.zip 添加到项目结构中（首选项> 项目> 项目结构，然后执行“+ 添加内容根”），它工作正常。

PS：Pycharm 已经从 .bashrc/.bash_profile 中设置的 os env 读取了 $PYTHONPATH 和 $SPARK_HOME

【讨论】：

这是在 pycharm 上为我工作的那个 2019.2