databricks 中的 delta 湖 - 流的最后半小时的一致“视图”

Question

我已经从 spark 结构化流（kafka 源）中不断更新表 这样写（在eachBatch中）

parsedDf \
        .select("somefield", "anotherField",'partition', 'offset') \
        .write \
        .format("delta") \
        .mode("append") \
        .option("mergeSchema", "true") \
        .save(f"/mnt/defaultDatalake/{append_table_name}")

我需要在此表上快速查看“最近半小时内插入的项目” 如何做到这一点？ 我可以从这个表中获得一个 readStream，但我缺少的是如何只保留流的“尾部”

Databricks 7.5 火花 3。

Answer 1

鉴于 Delta Lake 没有物化视图，并且 Delta Lake 时间旅行与您不想要最新数据相关：

• 您可以加载数据并包含插入时不需要查找的键。

• 预填充时间维度以加入您的数据。将其视为一分钟的维度。

• 加入这个维度的数据，依靠动态文件剪枝。因此，您需要使用滚动窗口每 30 分钟查询一次，并在查询中设置这些值。

• 见https://databricks.com/blog/2020/04/30/faster-sql-queries-on-delta-lake-with-dynamic-file-pruning.html#:~:text=Dynamic%20File%20Pruning%20(DFP)%2C%20a%20new%20feature%20now%20enabled,queries%20on%20non%2Dpartitioned%20tables。