由于stage中数据被覆盖导致stage和雪花表数据不一致

Question

我们已经安排了使用 copy into 语句将数据从 s3 加载到雪花表的任务。 但是，由于以下原因，我们发现数据计数不一致：

1. 在表很少的情况下，s3 中某些日期的数据会被覆盖。
2. 在雪花中再次加载更改的数据，但仍然是旧数据 存在。

我们可以通过什么方式解决这个问题？ 任何帮助是极大的赞赏。谢谢！

Answer 1

Snowflake 永远不会覆盖现有数据。加载数据不执行 UPDATE，它只是添加数据。您可以 a) 在加载之前从表中删除，b) 使用 STREAM 处理数据更改。