我们可以参数化雪花任务吗？

Question

我需要做一次历史数据加载，然后每 10 分钟增量加载一次。

有没有办法将雪花任务参数化为第一次运行历史负载，然后更改参数以执行增量负载？如果没有，您能否建议一种更好的方法来通过任务处理历史（一次性）和增量负载

注意：雪花流的底层表包含历史记录，实现流/任务后的任何新数据都被视为增量。

Answer 1

如果你有一个任务调用一个存储过程，你可以让存储过程首先检查目标表是否为空（或任何你想要的检查。只要你能把它写成代码，它就可以工作. 哎呀，您可以让它将任务运行日志插入到单独的表中，并检查它是否是第一次运行。）并在这种情况下执行初始历史加载，而不是其他情况。

那么当你第一次运行它时，它会执行一个代码路径，然后永远执行另一个。