通过 JDBC 与 COPY_INTO + GET 批量卸载雪花数据

Question

我有兴趣从 Snowflake 连续批量卸载数据到本地存储。通过使用 JDBC 直接发出 SELECT 查询与使用 COPY_INTO 复制到 Snowflake 内部阶段然后使用 GET 命令从内部阶段 (Snowflake reference) 下载，从 Snowflake 批量卸载是否有任何缺点。

通过 JDBC 进行选择查询似乎更直接，无需使用中间内部阶段的雪花存储容量。

Answer 1

COPY INTO 有一些直接 SELECT 没有的额外好处：

1. 格式选项，允许您生成除 CSV 之外的其他文件类型，例如 JSON、Parquet、AVRO、ORC 和 XML
2. 您可以直接复制到外部位置，例如 S3
3. 您可以控制是生成单个文件还是多个文件，并定义每个文件的最大文件大小
4. 您可以控制分隔符、字段包围和转义字符等
5. 您可以决定使用什么压缩方式，它支持 GZIP、BZ2 等

这不是一个详尽的列表，所以我认为 COPY INTO 可以让您更好地控制简单的直接 SELECT。