我们可以删除 delta 湖中最新版本的 delta 表吗？

Question

我有一个包含 4 个版本的增量表。

DESCRIBE HISTORY cfm ---> 有 4 个版本。 0,1,2,3。

我想删除版本 3 或 2。 我怎样才能做到这一点？

我试过了

from delta.tables import *
from pyspark.sql.functions import *

deltaTable = DeltaTable.forPath(spark, "path of cfm files")

deltaTable.delete("'version' = '3'") 

这不会删除版本 3。 https://docs.delta.io/0.4.0/delta-update.html 说

“delete 会从 Delta 表的最新版本中删除数据，但不会将其从物理存储中删除，直到旧版本被显式清除”

如果我必须运行真空命令，如何在最新日期而不是旧日期使用它们。

Answer 1

您需要使用 vaccum 命令来执行此操作。但是，vaccum 的默认保留时间为 7 天，如果您尝试在 7 天内清空任何内容，则会出错。

我们可以通过设置绕过默认保留期检查的 spark 配置来解决此问题。

以下解决方案：

from delta.tables import *

spark.conf.set("spark.databricks.delta.retentionDurationCheck.enabled", "false")
deltaTable = DeltaTable.forPath(spark, deltaPath)
deltaTable.vacuum(24)

*deltaPath -- 是您的增量表的路径

*24 -- 表示保留版本控制的小时数，过去 24 小时后创建的任何版本都将被删除。

希望这能回答你的问题。