【发布时间】:2020-09-15 11:52:38
【问题描述】:
我们的数据文件以 JSON 格式保存在 GCP 云存储上。
以下 2 种方法中哪一种是将其加载到雪花现有表的理想/有效方式
- 使用 GCS 作为命名的外部阶段
- 使用 GCS 作为外部位置来加载数据
如果 (1),那么我们应该选择 Calling Snowpipe REST Endpoints to Load Data 吗?
【问题讨论】:
标签: snowflake-cloud-data-platform
我们的数据文件以 JSON 格式保存在 GCP 云存储上。
以下 2 种方法中哪一种是将其加载到雪花现有表的理想/有效方式
如果 (1),那么我们应该选择 Calling Snowpipe REST Endpoints to Load Data 吗?
【问题讨论】:
标签: snowflake-cloud-data-platform
两种方法的“效率”几乎相同,但我强烈建议采用 Auto Ingest Snowpipe 的路线,如下链接所述:
https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-gcs.html
这非常有效,并且允许“设置它并忘记它”类型的项目。
我希望这会有所帮助...丰富
附言如果这个(或另一个)答案对您有帮助,请花点时间“接受”有帮助的答案 通过单击答案旁边的复选标记将其从“灰色”切换为“已填充”。
【讨论】: