【问题标题】:Snowpipe auto ingestionSnowpipe 自动摄取
【发布时间】:2020-05-22 18:35:01
【问题描述】:

我是 Snowflake 的新手。我已经创建了雪管,阶段也在 AWS 中配置了 SQS。

当我将文件放入 S3 存储桶时,数据没有通过雪管加载到表中。

如果我正在执行语句:alter pipe snow_pipename refresh 那么只有数据被加载到表中。

我是否需要为自动提取数据加载进行更多设置/说明。

【问题讨论】:

标签: snowflake-cloud-data-platform


【解决方案1】:

S3 存储桶上可能未正确设置 SQS 通知。检查配置以在下面的链接中进行设置

https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-s3.html#step-4-configure-event-notifications

【讨论】:

  • 我已经执行了以下步骤:创建或替换阶段 snowpipe_emp url='s3://YYYYYY';列出@snowpipe_emp; create table snowpipe_emp_table(Name String, Dept string, Sal number);创建管道 snowpipe_pipe_emp auto_ingest=true 作为从 @snowpipe_emp file_format=csvfile 复制到 snowpipe_emp_table;显示管道;在 AWS 事件中,选择选项所有对象创建事件,发送到:SQS 队列,SQS:添加 SQS 队列 ARN,SQS 队列 ARN:更新了我从管道获得的通知通道。仍然无法加载数据。
  • Snowpipe 在加载时会记住文件名以避免重复。您可以尝试使用新文件吗?如果它不起作用,请开具详细信息的支持票。
猜你喜欢
  • 2023-04-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多