从 Cloud Snowflake Server 更新本地 Sql Server 数据库获取新数据的最快方法答案

【问题标题】：Updating local Sql Server Database from Cloud Snowflake Server fastest way to get new data从 Cloud Snowflake Server 更新本地 Sql Server 数据库获取新数据的最快方法
【发布时间】：2020-04-09 00:20:05
【问题描述】：

我有一个包含大约 500 万条记录的本地 SQL Server 数据库表。我雪花服务器有一个每天更新的类似表。我需要使用在 Snowflake 表中添加的新记录来更新我的本地表。

此代码有效，但检索大约 200,000 条记录需要大约一个小时。我将记录插入到本地临时表中，然后将它们插入到我的 Sql 服务器数据库中。

有没有更快的方法从 Snowflake 中检索记录并将它们导入 SQL Server？

TIA 约翰B

选择 A.* 进入#Sale2020New FROM OPENQUERY(SNOW, 'SELECT * FROM "DATA"."PUBLIC"."Sales" where "Sales"."Date" >= ''1/1/2020'' and "Sales"."Date"

【问题讨论】：

标签： sql-server insert local

【解决方案1】：

仅从 Snowflake 中检索数据需要 1 小时还是整个过程？

为了加快从雪花中检索数据的速度，请在雪花表中的 DATE 列上实现集群。这将修剪微分区并避免全表扫描。您可以获取更多关于集群的信息here

对于增量加载，您可以将 DATE 列上的过滤器应用于当前日期，而不是连接，这将避免昂贵的连接操作并在开始时过滤数据。

     SELECT * FROM "SALES" 
 where "Sales"."Date" = '2020-04-07'

【讨论】：