填写缺失的日期 Redshift

Question

我有一张如下所示的表格：

Account   Value   Last_Day_in_Month

ABC       7        2018-06-30
ABC      12        2018-06-30
ABC       3        2018-08-31
FGH      57        2019-01-31
FGH      13        2019-03-31
FGH       127      2019-03-31

对于每个帐户，我需要填写与每个月的最后一天对应的缺失日期，以便结果表仅填写上个月的值（您会注意到另外两行）

Account   Value   Last_Day_in_Month

ABC       7        2018-06-30
ABC      12        2018-06-30
ABC      12        2018-07-31
ABC       3        2018-08-31
FGH      57        2019-01-31
FGH      57        2019-02-28
FGH      13        2019-03-31
FGH       127      2019-03-31

我有许多帐户，每个帐户都有不同的开始和停止时间（Last_Day_in_Month），所以我只需要填写每个帐户的最小和最大月份之间的缺失月份。因为我可能有多个值对应于每个帐户的一个月结束日期，所以我当前的解决方案是使用带有添加一天的案例语句的潜在客户和仅包含每个月的最后一天的日期表并执行交叉加入。但是，我认为这很混乱，而且我确信有更好的方法我不知道。这是我目前的解决方案...

select
        *,
        lead(Last_Day_in_Month,1)over (
            partition by Account
            order by Last_Day_in_Month
        ) as intermed2,

        case 
            when intermed2 = Last_Day_in_Month
            then dateadd('day',1, intermed2)

            else intermed2

        end as next_last_day

    from table
    cross join dates 
        where dates.date_actual >= table.Last_Day_in_Month
            and dates.date_actual < table.next_last_day 

欢迎提出任何建议。

Answer 1

对于合理数量的行，您正在做的事情很好。为了清楚起见，我建议的一件事是从交叉连接更改为带有 ON 子句的右连接。查询计划者应该看穿你所拥有的并计划一个有效的查询，所以只是一个 nit。

还有许多其他方法可以做到这一点，您可以通过在堆栈溢出中搜索“间隙和孤岛”来找到示例。我得到的最大反馈是关于创建额外的行。您正在做的是为缺少的月份创建新行，这对于相当小的表来说很好，因为当您添加行时它们不会变得超级大。例如，如果您有一个包含 1000 亿行的表，并且您的平均间隙大小为 2，那么您将创建一个包含 3000 亿行的结果。制作这么多数据永远不会快速或高效。所以你说你有“许多帐户”，多少是多少？

如果数据量可以容纳在内存中，或者您只是偶尔执行一次此操作，那么创建行就可以了。如果这是作为正在进行的查询的一部分完成的，并且创建的数据会很大，那么我会重新考虑为什么需要创建数据来执行查询。一般来说，Redshift 存储非常大的数据集，并且将这些行乘以其他因素（日期）会导致查询速度非常慢。如果打算将此数据缩减为一些较小的结果，您将需要找到一种方法来创建此结果，而无需制作如此大的中间数据集。