【发布时间】:2023-03-07 09:33:01
【问题描述】:
Scala 有一个标志isLocal。如果这是true,那么我们知道Spark 在本地模式下运行,否则它在集群上运行。有没有 pyspark 替代品?或者我们只是检查sc.master?
【问题讨论】:
标签: scala apache-spark pyspark
Scala 有一个标志isLocal。如果这是true,那么我们知道Spark 在本地模式下运行,否则它在集群上运行。有没有 pyspark 替代品?或者我们只是检查sc.master?
【问题讨论】:
标签: scala apache-spark pyspark
它在 Python API 中不可用,但您可以在 Java SparkContext 上调用 isLocal:
sc._jsc.isLocal()
【讨论】: