使用 Pycharm 在 EMR 上调试 Pyspark答案

【问题标题】：Debug Pyspark on EMR using Pycharm使用 Pycharm 在 EMR 上调试 Pyspark
【发布时间】：2021-04-15 18:05:06
【问题描述】：

有人有使用 Pycharm 调试在 AWS EMR 上运行的 Pyspark 的经验吗？

我找不到任何好的指南或现有线程来重新评分。

我知道如何使用 Intellij 针对 EMR 调试 Scala-Spark，但我没有使用 Python 执行此操作的经验。

我知道能够使用 ssh (EMR Master) 连接到远程服务器，也许使用专业版我可以使用远程部署功能使用 Pycharm 运行我的 Spark 作业，但我不确定它是否可以工作并且在我使用 Pycharm Pro 之前，我想知道是否有人尝试过。

【问题讨论】：

【解决方案1】：

我必须按照自己的意愿在 EMR 上调试 Pyspark。请查看这篇描述如何操作的 Medium 博客文章：

它描述了如何使用 Pycharm Pro - 远程部署功能来调试您的 pyspark 程序。

【讨论】：