在 Azure 数据工厂中使用 Windowstart 的偏移量答案

【问题标题】：Use offset of Windowstart in azure data factory在 Azure 数据工厂中使用 Windowstart 的偏移量
【发布时间】：2023-03-18 06:57:01
【问题描述】：

我希望将数据从 azure 表增量复制到 azure blob。我创建了链接服务、数据集和管道。我希望每小时后将数据从表复制到 blob。该表有一个时间戳列。我想将数据从表传输到 blob，这样从早上 7 点到早上 8 点添加到表中的数据应该从早上 8 点开始推送到活动窗口中的 blob。换句话说，我不想错过任何流入表格的数据。

【问题讨论】：

那么你想要时间片执行中的一些重叠还是什么？抱歉，我并没有真正关注您的文字转储。您能否重写它，使其有意义并结构化为一个问题？谢谢
$$Text.Format('PartitionKey ge \'{0:yyyyMMddHH}\' and PartitionKey lt \'{1:yyyyMMddHH}\'',WindowStart, WindowEnd)
使用上述查询，如果活动窗口从 6 开始并在 6:15 结束，时间戳为 6-6:15 的行将会出现，而我会错过时间戳为 6:15-7 的行
您是否查看过 ADF 时间片的“偏移”属性？
是的，我尝试使用它，但我仍然无法获取所有记录

标签： azure azure-storage azure-blob-storage azure-table-storage azure-data-factory

【解决方案1】：

我已更改用于从 azure 表中提取数据的查询。

"azureTableSourceQuery": "$$Text.Format('PartitionKey gt \\'{0:yyyyMMddHH} \\' and PartitionKey le \\'{1:yyyyMMddHH}\\'', Time.AddHours(WindowStart, -2), Time.AddHours(WindowEnd, -2))"

此查询将获取 2 小时前添加到表中的数据，因此我不会错过任何数据。

【讨论】：