Spark - 从 DateType 中提取日期字符串

Question

我有一个 Row 对象，其中包含 DateType 类型的列之一。

我正在从此 Row 对象中提取单个字段值，如下所示：

val eventDate = row.getAs[DateType](0)
val recordCount = row.getAs[Long](1)

我想从 eventDate 中提取日期值的字符串表示。我怎样才能做到这一点？ Intellij 建议了一个名为 formatted 的 eventDate 方法，我使用如下：

val eventDateString = row.getAs[DateType](0).formatted("yyyy-MM-dd")

但是，执行后，eventDateString 中的值是“yyyy-MM-dd”，而不是日期的实际值。如何以字符串表示形式获取实际日期值。

另外，我无法在以下链接的 Spark2 文档中找到 formatted(format:String) 方法。我想知道为什么 Intellij 在文档未显示此方法时显示此方法。请帮忙。

https://spark.apache.org/docs/2.2.1/api/java/org/apache/spark/sql/types/DateType.html

Answer 1

代码：

val schema = StructType(List(new StructField("event_date", DateType)))
val data = Seq(Row(Date.valueOf("2018-10-21")), Row(Date.valueOf("2018-10-22")))
val df = spark.createDataFrame(spark.sparkContext.parallelize(data), schema)
df.printSchema()
df.show()

//here it will cast date type to string type
df.foreach { row =>
  println(row.getAs[String]("event_date"))
}

样本输出：

root
 |-- event_date: date (nullable = true)

+----------+
|event_date|
+----------+
|2018-10-21|
|2018-10-22|
+----------+

2018-10-21
2018-10-22

注意：使用 Spark 2.2.0 和 Scala 2.11.8 测试