使用 Fivetran 将 csv 文件上传到雪花

Question

我想将 csv 文件从谷歌表格上传到雪花数据库。我想知道 Fivetran 中是否有任何选项可以使这些 csv 文件的只有 upserts（仅修改的行）同步到雪花表？

Answer 1

您绝对可以使用 Fivetran 将 Google 表格数据上传到 Snowflake：https://fivetran.com/docs/files/google-sheets Fivetran 默认只更新修改的行（添加/删除/更新），因此如果该 Google 表格被修改，它确实会更新。我相信默认情况下 Fivetran 只会从源数据中“软删除”删除，所以我认为如果您从 Google 表格中删除一行，它将保留在 Snowflake 中，但会有一个 _fivetran_deleted 列标志。如果这对您很重要，我会明确地对此进行测试。

我不确定您所说的“仅更新插入”是什么意思。数据从 Google 表格存储到 Snowflake 后不会删除吗？如果是这样，Fivetran 可能已经完全按照您的要求开箱即用了。 Fivetran 肯定会插入新行并更新现有行。

Answer 2

我认为您不能使用 Fivetran 执行此操作，但您可以使用 Wax 实时将 Google 表格与 Snowflake 进行双向同步（例如，一旦编辑表格，更新就会发送到 Snowflake )。

免责声明：这是我做的。