我正在寻找将 2 TB 数据从本地迁移到雪花的最佳方法。数据位于每个大小约为 150 MB 的压缩文件中，并且将不断生成类似的文件。由于我们没有云帐户（只有雪花帐户），因此无法使用 S3 或 Azure BLOB 等云原生存储。此外，我们希望使用公共 Internet 建立从本地网络到云上的 Snowflake DB 的连接。 （没有可用的 VPN 或直接连接或使用第 3 方工具） 我们如何才能最好地确保从本地传输到云上雪花数据库的数据是安全的。 并且不使用 S3 或 Azure BLOB 存储，数据被加载到雪花中。
【问题讨论】：
标签： snowflake-cloud-data-platform
因此您没有外部云存储帐户来将这些文件存储到；我可以看到一个选项，即关于使用 SnowSQL 将文件上传到 Snowflake Storage，使用 PUT 命令的内部舞台位置，在以下 URL 中查看 SQL 的 PUT 命令 https://docs.snowflake.com/en/sql-reference/sql/put.html 它可以将文件上传到 Snowflake 的内部 Stage 以及 User & Table 内部 Stage。 有一个可选参数 PARALLEL 指定用于上传文件的线程数，增加线程数可以提高上传大文件时的性能。较大的文件会自动拆分成块，同时暂存，并在目标阶段重新组装。单个线程可以上传多个块。 上传的文件使用 128 位或 256 位密钥自动加密。 CLIENT_ENCRYPTION_KEY_SIZE 帐户参数指定用于加密文件的大小密钥。
考虑到 2TB 的文件上传，您应该尝试多个小文件。
【讨论】：
您可以使用任何 Snowflake 连接器将数据直接从本地服务器移动到 Snowflake。 https://docs.snowflake.com/en/user-guide/conns-drivers.html
您也可以使用 put 命令从命令行界面 snowsql 开始。 https://docs.snowflake.com/en/user-guide/snowsql.html
所有进出 Snowflake 的流量都在传输过程中使用 SSL 进行加密。 https://resources.snowflake.com/snowflake/automatic-encryption-of-data
【讨论】：