如何在本地使用 PYSPARK 开发并在 Spark Cluster 上运行？答案

【问题标题】：How to develop with PYSPARK locally and run on Spark Cluster?如何在本地使用 PYSPARK 开发并在 Spark Cluster 上运行？
【发布时间】：2018-09-11 09:39:52
【问题描述】：

我是 Spark 的新手。我在 Ubuntu 16.04.3 服务器上以独立模式安装了 Spark 2.3.0。到目前为止运行良好。现在我想开始使用 pyspark 进行开发，因为我使用 python 比使用 scala 有更多经验。

好的。即使在使用谷歌一段时间后，我也不确定应该如何设置我的开发环境。我的本地机器是配置了 eclipse neon 和 pydev 的 Windows 10 笔记本电脑。设置我可以在本地环境中开发并将我的模块提交到服务器上的 spark 集群的必要步骤是什么？

感谢您的帮助。

【问题讨论】：

标签： python eclipse apache-spark pyspark development-environment

【解决方案1】：

使用spark-submit 在本地或集群上运行。这方面有很多在线教程。我喜欢AWS documentation，它解释了架构，有示例 Spark 代码，并提供了本地和远程命令的示例。即使您不使用 AWS EMR，基础知识也是相同的。

试一试，告诉我们进展如何

【讨论】：