将数据从 Teradata 移动到 Snowflake答案

【问题标题】：Moving data from Teradata to Snowflake将数据从 Teradata 移动到 Snowflake
【发布时间】：2021-08-21 11:52:55
【问题描述】：

尝试将数据从 Teradata 移动到 Snowflake。已经创建了一个进程来为每个表运行 TPT 脚本来为每个表生成文件。

在雪花中运行 COPY INTO 时，文件也被拆分以实现并发。

需要了解将这些文件从 On Prem Linux 计算机移动到 Azure ADLS 的最佳方式。考虑 TB 大小的文件。

Azure 是否提供任何机制来移动这些文件，或者我们可以直接从 Teradata 在 ADLS 上创建文件吗？

【问题讨论】：

Considering files in Terabyte size. Snowflake 建议使用 100-250 MB 的文件，并建议使用大于 100 GB 的文件。这有助于并行文件加载。
您从 Teradata csv / other 导出什么文件格式？看到这个帖子：stackoverflow.com/questions/50062474/…

【解决方案1】：

如果您有 Azure Blob 存储或 ADLS Gen2，则通过外部表将数据加载到雪花的最佳方法。将数据加载到 Blob 存储并创建外部表，然后将数据数据加载到雪花。

【讨论】：

是的，我明白这一点。但是如何将这些文件从 On Prem 移动到 Cloud Storage。就像我说的那样，将在 Linux On Prem 上创建几个拆分文件，我们将从那里运行 TPT 导出。这些文件的总大小将达到 100 TB+。将这些文件从本地移动到 ADLS 的最佳方法是什么？或者有没有办法通过ADLS上的TPT直接导出文件？
有一个 TPT Access Module for Azure Blob 应该也支持 ADLS Gen2。