【问题标题】:Delta table versioning while writing from a Spark structured streaming job从 Spark 结构化流作业写入时的增量表版本控制
【发布时间】:2021-04-28 08:48:35
【问题描述】:

从 Spark 结构化流式作业写入 Delta 表是否会为每个写入的微批量数据创建一个版本?

【问题讨论】:

    标签: apache-spark databricks spark-structured-streaming delta-lake


    【解决方案1】:

    来自文档:

    当您写入 Delta 表或目录时,每个操作都是 自动版本化。

    所以,是的,你是对的。

    获取数据:

    • 使用时间戳

    • 使用版本号

    参考:https://databricks.com/blog/2019/02/04/introducing-delta-time-travel-for-large-scale-data-lakes.html

    【讨论】:

      猜你喜欢
      • 2021-10-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-11-21
      • 2019-10-07
      • 1970-01-01
      • 2018-10-06
      • 2019-01-19
      相关资源
      最近更新 更多