【问题标题】:Snowflake sql select query automation雪花 sql 选择查询自动化
【发布时间】:2020-08-31 22:11:41
【问题描述】:

我已经在雪花 SQL 环境中构建了一个数据工程管道。这些管道的输出用于我们的数据科学模型。

Code is organized as ( Step 1,2,3 are SQL queries) :- 
Step 1 query - input is raw data table
Step 2 query - input is output of Step 1 view
Step 3 query - input is output of Step 2  view

第三步的输出为最终输出。

为了自动化,我计划为步骤 1,2 和 3 创建 SQL 视图。

问题-如果我使用 SQL 视图,当我从 step3 视图中选择 * 时,它会运行第 1 步和第 2 步吗?每次我从第 3 步中提取数据时,我都希望代码运行第 1 步和第 2 步代码。还有其他自动化方法吗?我是雪花环境的新手,我必须注意物化视图还是非物化视图?

【问题讨论】:

  • 能不能详细一点,分享一下SQL查询

标签: sql snowflake-cloud-data-platform


【解决方案1】:

视图在查询时进行评估。如果您使用视图设置逻辑,则查询将按生成正确结果集所需的顺序进行处理。

视图的一个缺点是,如果它们被多次引用,那么逻辑可能会重复。

【讨论】:

  • 谢谢,我每个视图都使用一次。如果我们多次引用相同的视图,您会推荐其他自动化方式吗?
  • @ank12 。 . .您要解决的问题很棘手。我会在生产系统中实现视图。
猜你喜欢
  • 1970-01-01
  • 2022-01-04
  • 2020-11-05
  • 2021-09-21
  • 1970-01-01
  • 2022-07-07
  • 2023-02-09
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多