【问题标题】:Load data from multiple filetypes into same snowflake table?将多个文件类型中的数据加载到同一个雪花表中?
【发布时间】:2020-09-30 06:47:17
【问题描述】:

我可以使用具有不同文件类型的多种文件格式将数据加载到同一个雪花表中吗,我读过这个documentation,但它没有明确指定。

  1. 我从外部阶段 (s3) 加载到雪花的一些文件是 CSV 格式的,但该表还有另一个数据源为 parquet 文件格式。

  2. 另一个要求是将整个数据 (CSV. + parquet) 卸载到将遵循单一文件类型 (parquet) 的外部阶段 (s3)。

【问题讨论】:

    标签: snowflake-cloud-data-platform snowflake-schema


    【解决方案1】:

    是的,您可以这样做。您可以根据需要为表指定任意数量的file formatscopy into 语句。如果需要,您甚至可以将 CSV 和 parquet 文件分离到不同的 stages 中,以帮助保持整齐分开。

    【讨论】:

    • 感谢 Greg 的回复,能否请您回答问题的第二部分,我可以使用统一的文件类型(parquet)导出到 s3 存储桶
    • 是的,你可以。 Snowflake 支持将 COPY INTO 导出为 JSON、parquet 或 CSV。
    【解决方案2】:

    难道不能在一个复制命令中使用多种文件格式吗?

    我在一个 s3 阶段有 gzip、bz2、deflate 格式的文件,所以在加载这些文件格式时,如何在复制命令中使用多种文件格式,或者我们是否可以在创建文件格式时指定多种压缩类型。

    【讨论】:

      猜你喜欢
      • 2020-09-30
      • 2022-01-08
      • 1970-01-01
      • 2020-10-07
      • 1970-01-01
      • 1970-01-01
      • 2021-07-18
      • 1970-01-01
      • 2022-12-06
      相关资源
      最近更新 更多