【发布时间】：2022-01-03 08:03:51
【问题描述】：
我有源增量表，它位于我们开发资源组（如 dev1@dev）的容器上。我需要使用 prod1@prod 将这些数据文件准确复制到我们的 prod 集群上的另一个存储位置。我们在两个位置都有类似的 t delta 表。我希望产品表具有与 DEV 上的数据相似的数据。如何在 Azure 上执行此操作？
【问题讨论】：
标签： azure azure-blob-storage delta-lake delta
【发布时间】：2022-01-03 08:03:51
【问题描述】：
实现此目的的最简单方法是使用在 Azure Databricks 上执行的 Delta DEEP CLONE。它的主要优点是：
- 它是事务性的 - 它保证复制完成或失败。没有部分副本等。
- 它是增量的 - 当您第二次执行它时，它只会复制自上次以来的更改
命令本身可能如下所示：
CREATE OR REPLACE delta.`abfss://dev1@dev..../directory`
DEEP CLONE delta.`abfss://prod1@prod...../directory`
您可以在blog post 中找到更多关于 DEEP CLONE 的信息
【讨论】：