来自App的扩展和对象之间的差异包含scala中的主要方法

Question

我编写了示例 spark-scala 程序，用于从数据帧创建 json 元素列表。当我使用 main 方法执行时，它返回空列表，但是当我在没有扩展应用程序的对象的情况下执行时，它返回包含记录的列表。 scala对象中extends App和main方法有什么区别

object DfToMap {
def main(args: Array[String]): Unit = {
val spark: SparkSession = SparkSession.builder()
.appName("Rnd")
.master("local[*]")
.getOrCreate()
import spark.implicits._

val df = Seq(
(8, "bat"),
(64, "mouse"),
(27, "horse")
).toDF("number", "word")

val json = df.toJSON
val jsonArray = new util.ArrayList[String]()
json.foreach(f => jsonArray.add(f))
print(jsonArray)
}
}

它将返回空列表 但是下面的程序给了我记录列表

object DfToMap extends App{
val spark: SparkSession = SparkSession.builder()
.appName("Rnd")
.master("local[*]")
.getOrCreate()
import spark.implicits._

val df = Seq(
(8, "bat"),
(64, "mouse"),
(27, "horse")
).toDF("number", "word")

val json = df.toJSON
val jsonArray = new util.ArrayList[String]()
json.foreach(f => jsonArray.add(f))
print(jsonArray)

}

Answer 1

TL;DR 两个 sn-ps 都不是正确的 Spark 程序，但一个比另一个更不正确。

您犯了两个错误，都在介绍性 Spark 材料中进行了解释。

• 由于其特性，Spark 不支持扩展 App - Quick Start - Self-Contained Applications 的应用程序

  请注意，应用程序应该定义一个 main() 方法，而不是扩展 scala.App。 scala.App 的子类可能无法正常工作。

• Spark 不提供全局共享内存，因此不支持修改全局对象是一个闭包 - Spark Programming Guide - Understanding Closures