在CentOS环境下，使用PyCharm进行Spark开发

1 建立PyCharm与Spark的连接

在Run->Edit Configuration中添加环境变量


其中PYTHONPATH和SPARK_HOME的值请前往/etc/profile文件中查看，这两个值是在配置Spark的环境时写入的。

2 实现代码自动补全

将 Spark中的spark-2.4.0-bin-hadoop2.7/python/pyspark文件夹（注意，不是 bin/pyspark可执行文件），复制到Python安装目录下的python/lib/python3.7/site-packages中。

参考网址

[1] PyCharm搭建Spark开发环境 + 第一个pyspark程序
[2] 使用PyCharm配置Spark的Python开发环境