【问题标题】:How snowflake internally stores the Data into Micro partitions雪花如何在内部将数据存储到微分区中
【发布时间】:2020-05-12 12:16:39
【问题描述】:

我更想了解将数据存储到微分区中的雪花过程。据我所知,雪花每个分区的大小为 50-500MB。

假设我有一个大小为 1GB 的文件,我想将此数据加载到雪花中。有人可以解释一下雪花将数据存储到微分区中的内部流程/步骤吗

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    为了优化负载的并行操作数量,Snowflake 建议压缩文件大小约为10 MB 到 100 MB。将大文件拆分为更多的小文件可以在活动仓库中的服务器之间分配负载并提高性能。

    https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.html#general-file-sizing-recommendations

    【讨论】:

      【解决方案2】:

      Snowflake 的微分区文件格式是专有的,因此您不会获得比文档中更多的信息(除非有人违反了 Snowflake 的雇佣合同)。

      【讨论】:

        猜你喜欢
        • 2020-04-06
        • 1970-01-01
        • 1970-01-01
        • 2021-11-11
        • 2022-06-10
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多