雪管基础设施和 s3 子文件夹

Question

我正在尝试建立可扩展的雪管基础设施。我有一个 AWS lambda 函数提取数据并将原始 json 文件放入下面的相应文件夹中。

理想情况下，我想设置雪管以将每个文件夹中的数据读入它自己的雪花表中。

例如）

• leads 文件夹中的leads json 文件现在通过管道传输到一个 雪花中的leads_json 表。
• 现在，位于机会文件夹中的机会 json 文件通过管道传输到雪花中的 opportunitie_json 表中。

如何设置管道和阶段以减少所需的管道和阶段数量？

存储桶中的每个子文件夹是否需要一个管道和阶段？

我将使用 SQS 通知来利用 AUTO_INGEST=true 功能。

Answer 1

对于通过 Snowpipe 加载的每个 TABLE，您将需要 1 个 PIPE。如果您愿意，您可以有一个 STAGE 指向 S3 存储桶的顶层文件夹，或者您可以在较低级别的文件夹中为每个表创建 1 个。我希望这能回答你的问题。