【问题标题】:Loading Files from a Named External Stage vs External Location从命名的外部阶段与外部位置加载文件
【发布时间】:2020-09-15 11:52:38
【问题描述】:

我们的数据文件以 JSON 格式保存在 GCP 云存储上。

以下 2 种方法中哪一种是将其加载到雪花现有表的理想/有效方式

  1. 使用 GCS 作为命名的外部阶段
  2. 使用 GCS 作为外部位置来加载数据

如果 (1),那么我们应该选择 Calling Snowpipe REST Endpoints to Load Data 吗?

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    两种方法的“效率”几乎相同,但我强烈建议采用 Auto Ingest Snowpipe 的路线,如下链接所述:

    https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-gcs.html

    这非常有效,并且允许“设置它并忘记它”类型的项目。

    我希望这会有所帮助...丰富

    附言如果这个(或另一个)答案对您有帮助,请花点时间“接受”有帮助的答案 通过单击答案旁边的复选标记将其从“灰色”切换为“已填充”。

    【讨论】:

    • 注意事项:Snowpipe 仍是 GCP 上的预览功能
    • 没错,对于 GCP SnowPipe,Auto Ingest 处于预览状态。所以我宁愿不将它用于我的生产目的。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-08-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多