如何检测 PySpark 正在本地机器上运行

【问题标题】：How to detect that PySpark is running on local machine如何检测 PySpark 正在本地机器上运行
【发布时间】：2020-04-10 23:10:32
【问题描述】：

通常，我们在 Spark 集群上运行 PySpark 代码。此代码通过自动化测试进行测试。我们在本地和（在管道中）在 Spark 集群上运行单元和集成测试。两种情况下的配置都略有不同。因此，我需要知道测试是在本地运行还是在集群上运行。

如何以编程方式检测测试是在本地机器上还是在 Spark 集群上运行？

【问题讨论】：

【解决方案1】：

spark.submit.deployMode - Spark驱动程序的部署模式，“客户端”或“集群”，即本地（“客户端”）或远程（“集群”）启动驱动程序在集群内的一个节点上。

您还可以通过访问 Web UI 来检查部署模式。 Spark 公开了其中三个 UI：Master web UI、Worker web UI、Application web UI。

检查 UI 访问（默认情况下 / 可以在 YARN 部署等情况下更改）： http://localhost:4040/api/v1/applications 或 http://10.0.2.15:4040。

您需要的是 Environment 选项卡，如果您不想处理 SparkListeners，您可能想要抓取它或使用 REST API：

环境选项卡显示不同环境和配置变量的值，包括 JVM、Spark 和系统属性。

【讨论】：