【发布时间】:2021-04-28 08:48:35
【问题描述】:
从 Spark 结构化流式作业写入 Delta 表是否会为每个写入的微批量数据创建一个版本?
【问题讨论】:
标签: apache-spark databricks spark-structured-streaming delta-lake
从 Spark 结构化流式作业写入 Delta 表是否会为每个写入的微批量数据创建一个版本?
【问题讨论】:
标签: apache-spark databricks spark-structured-streaming delta-lake
来自文档:
当您写入 Delta 表或目录时,每个操作都是 自动版本化。
所以,是的,你是对的。
获取数据:
使用时间戳
使用版本号
参考:https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html
【讨论】: