从 Dataframe 获取单个单元格值的更快方法（仅使用转换）答案

【问题标题】：Faster way to get single cell value from Dataframe (using just transformation)从 Dataframe 获取单个单元格值的更快方法（仅使用转换）
【发布时间】：2021-08-17 09:51:59
【问题描述】：

我有以下代码，我想从 dfBackendInfo 获取 Dataframe dfDateFiltered，其中包含 RowCreationTime 大于时间戳“latestRowCreationTime”的所有行

val latestRowCreationTime = dfVersion.agg(max("BackendRowCreationTime")).first.getTimestamp(0)
val dfDateFiltered = dfBackendInfo.filter($"RowCreationTime" > latestRowCreationTime)

我看到的问题是第一行在 Databricks 集群中添加了一个作业，使其变慢。无论如何我是否可以使用更好的过滤方式（例如，仅使用转换而不是操作）？

以下是 2 个数据框的架构：

case class Version(BuildVersion:String,
                   MainVersion:String,
                   Hotfix:String,
                   BackendRowCreationTime:Timestamp)
                   
case class BackendInfo(SerialNumber:Integer,
                       NumberOfClients:Long,
                       BuildVersion:String,
                       MainVersion:String,
                       Hotfix:String,
                       RowCreationTime:Timestamp)

【问题讨论】：

你能添加两个数据框的架构吗？
请看上面编辑过的问题。
也许如果您可以通过其中一个字段连接两个数据集，您可以将过滤器作为连接的第二个条件包括在一个操作中执行过滤器。只要您需要查询第一个数据集以提取值，您就需要两个操作，如果您想在一个操作中处理两个数据集，您必须加入两个 DS。
感谢您的建议。我已在工作解决方案下方发布。

标签： scala apache-spark apache-spark-sql azure-databricks

【解决方案1】：

以下代码有效：

val dfLatestRowCreationTime1 = dfVersion.agg(max($"BackendRowCreationTime").as("BackendRowCreationTime")).limit(1)
val latestRowCreationTime = dfLatestRowCreationTime1.withColumn("BackendRowCreationTime", when($"BackendRowCreationTime".isNull, DefaultTime))
val dfDateFiltered = dfBackendInfo.join(latestRowCreationTime, dfBackendInfo.col("RowCreationTime").gt(latestRowCreationTime.col("BackendRowCreationTime")))

【讨论】：