雪花中的外部表刷新答案

【问题标题】：External table refresh in snowflake雪花中的外部表刷新
【发布时间】：2022-01-01 00:20:33
【问题描述】：

我有一个基于 s3 集成的外部表。

s3 存储桶中的文件每天仅在 12:30 UTC 刷新一次。

选项 1：

我会自动刷新表格。

create or replace external table EXT_TABLE
(
  "ID" VARCHAR as (nullif(value:c1,'')::VARCHAR),
  ...........
)
with location = @STAGE_NAME
auto_refresh = true
file_format = user_data_format
pattern = '.*su.*[.]csv';

选项 2：创建一个在 13 UTC 运行的任务

 alter external table EXT_TABLE refresh;

使用任务刷新的 2 个选项或知道 s3 中的文件每天只会被覆盖一次的选项 1 自动刷新之间的成本是否有任何差异。

什么是更好的方法，选项 1 和 2 的成本有何不同？

【问题讨论】：

标签： snowflake-cloud-data-platform snowflake-schema

【解决方案1】：

如果您确定 S3 存储桶将在世界标准时间每天 12:30 刷新一次，我会执行此任务。

首先，接收通知会收取少量费用：

https://docs.snowflake.com/en/user-guide/tables-external-intro.html#billing-for-refreshing-external-table-metadata

我不确定这一点，但如果您将多个文件上传到您的 S3 存储桶，您可能会收到多个通知。（希望有人验证这一点）

【讨论】：