雪花中的 SNOWPIPE 是否 100% 可靠？答案

【问题标题】：SNOWPIPE in snowflake is 100% reliable or not?雪花中的 SNOWPIPE 是否 100% 可靠？
【发布时间】：2020-04-06 16:36:32
【问题描述】：

我使用 snowpipe 将数据从 AWS S3 检索到 Snowflake，但就我而言，它没有按预期工作。有时文件没有处理成雪花。

是否有任何替代方法可用？

【问题讨论】：

【解决方案1】：

据说来自 AWS S3 的事件处理是不可靠的，因为事件可能会延迟几分钟到达（这是一个 AWS 问题，但会影响 Snowpipe）。

补救办法是安排一个任务定期（至少每天）做：

ALTER PIPE my_pipe REFRESH [ PREFIX = '<path>' ];

请使用前缀以避免扫描大型 S3 存储桶以查找未处理的项目。还请注意 Snowflake 关于 Amazon 何时修复 S3 事件问题的公告，以便您可以删除任何不必要的REFRESH 任务。

如果你有例如。 YYYY/MM/DD/ 存储桶结构不幸的是，这意味着您必须创建一个存储过程才能使用动态 PREFIX 运行命令...

我将这个组合 (PIPE/REFRESH TASK) 用于我的 Snowpipes。

【讨论】：

那么您对 Snowflake 文档有何看法？经常使用。”
这与我们在这里解决的“特定问题”相同。自从雪管出现以来，这些问题就一直存在，因此“短期使用”限制现在已经超出了任何合理的含义。但是，当 S3 事件得到保证且及时，用户当然应该删除所有额外的管道刷新任务。

【解决方案2】：

回答你的问题：是的。我过去曾在生产环境 (AWS) 中多次使用过它，并且它按预期工作。

【讨论】：