【问题标题】:Is that possible to split a lager file more than 8 GB using snowflake?是否可以使用雪花分​​割超过 8GB 的​​大文件?
【发布时间】:2019-11-21 08:46:31
【问题描述】:

我有一个超过 8 GB 的文件。想将此文件加载到雪花。我浏览了雪花文档并找到了最佳实践,即保持文件大小为 10 MB 到 100 MB 以获得最佳加载性能。

https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.html

是否可以将文件拆分为雪花本身?所以我将 8 GB 文件上传到 Azure Blob,然后使用雪花将文件拆分为多个,然后加载到表中..?

【问题讨论】:

标签: snowflake-cloud-data-platform


【解决方案1】:

不,在加载文件之前无法使用 Snowflake 拆分文件。
Snowflake 只有在将表格卸载到云存储时才能够拆分为多个文件。

但我想 Azure 中也有可能:
Azure Batch Job How to split large file into smaller files

【讨论】:

    【解决方案2】:

    我想补充一下,虽然目前在 Snowflake 中目前还不可能,但非常欢迎您在这里提交功能请求:https://community.snowflake.com/s/ideas

    【讨论】:

    猜你喜欢
    • 2021-10-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-04-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多