Azure Synapse Analytics 中的递归查询答案

【问题标题】：Recursive Query in Azure Synapse Analytics for DatesAzure Synapse Analytics 中的递归查询
【发布时间】：2021-06-02 19:36:57
【问题描述】：

在下表中，如何在 START_DATE 和 END_DATE 列之间插入包含年份的第一个和最后一个日期的行？

EMPID	EMPNAME	START_DATE	END_DATE
1001	Shivansh	2015-09-01	2018-03-31
1004	Mayank	2019-04-01	2020-06-30

输出应如下所示：

EMPID	EMPNAME	START_DATE	END_DATE
1001	Shivansh	2015-09-01	2015-12-31
1001	Shivansh	2016-01-01	2016-12-31
1001	Shivansh	2017-01-01	2017-12-31
1001	Shivansh	2018-01-01	2018-03-31
1004	Mayank	2019-04-01	2019-12-31
1004	Mayank	2020-01-01	2020-06-30

这必须使用循环来实现，因为 Azure Synapse Analytics 不支持递归公用表表达式

【问题讨论】：

理货表？这个answer 显示了类似的东西。
@DaleK 谢谢，但我需要这个用于 Azure 突触，日期要更新
@wBob 我知道要接受答案，我必须单击答案旁边的正确标记。而且我还没有标记任何答案，因为我已经得到了答案并且也分享了相同的答案。

标签： sql-server common-table-expression azure-synapse recursive-cte

【解决方案1】：

此方法使用 Azure Synapse Analytics 专用 SQL 池中提供的数字表和许多日期函数，包括 DATEFROMPARTS、DATEDIFF 和 YEAR。

NB 这不是递归查询。在创建数字表时使用了一个循环，但这只完成了一次。一旦数字表存在，它就可以用于类似的场景，例如将递归 CTE 转换为与 Azure Synapse Analytics 兼容的基于集合的方法。

DATEFROMPARTS 用于在计算记录中构造一年的第一天。然后我用DATEADD 加一年，然后去掉一天，得到一年的最后一天。 DATEDIFF with year 用于确定两个日期之间的年份间隔，从而确定需要添加的记录数。然后我 UNION 原始记录和计算记录以获得完整结果。

IF OBJECT_ID('tempdb..#tmp') IS NOT NULL
DROP TABLE #tmp
GO

CREATE TABLE #tmp ( 
    empId       INT NOT NULL, 
    empName     VARCHAR(50) NOT NULL,
    start_date  DATE NOT NULL, 
    end_date    DATE NULL
)
GO


-- Setup test data
INSERT INTO #tmp ( empId, empName, start_date, end_date )
SELECT 1001, 'Shivansh', '2015-09-01', '2018-03-31'
UNION ALL
SELECT 1004, 'Mayank', '2019-04-01', '2020-06-30'
GO

;WITH cte AS (
SELECT *,
    DATEFROMPARTS( YEAR(start_date) + n.number, 1, 1 ) newStart
FROM #tmp t
    CROSS JOIN dbo.numbers n
WHERE n.number <= DATEDIFF( year, start_date, end_date ) 
)
SELECT 'o' s, empId, empName, start_date, 
    CASE
        WHEN YEAR(start_date) = YEAR(end_date) THEN end_date
        ELSE DATEFROMPARTS( YEAR(start_date), 12, 13 )
    END end_date
FROM #tmp
UNION ALL
SELECT 'c', empId, empName, 
    newStart AS start_date,
    CASE 
        WHEN YEAR(end_date) = YEAR(newStart) THEN end_date
        ELSE DATEADD( day, -1, DATEADD( year, 1, newStart ) ) 
    END newEnd
FROM cte
ORDER BY empId, start_date

我的结果：

我添加了 o 和 c 来表示原始行和计算行，但您可以根据需要删除该列。如果你还没有数字表，那么我用来创建这个的脚本是here。此代码已在 Azure Synapse Analytics 专用 SQL 池（版本 Microsoft Azure SQL 数据仓库 - 10.0.15554.0 Dec 10 2020 03:11:10）上进行了测试。

【讨论】：

但是，我仍然有些怀疑。当我在我的任务中实施它时会接受你的建议。感谢您的热心帮助。
谢谢。很高兴为您提供帮助，尽管请发布一个包含示例数据和预期结果的新问题，但我相信有人能够为您提供帮助。
是的。我肯定会这样做
“dbo.numbers”在 Azure Synapse Analytics 中不可用。此外，在与 empid 1004 关联的上述年份的输出中，并未生成所有元组。我已经实现了只使用一个循环，它也需要更少的时间复杂度。
您好，您可以使用我在链接中提供的脚本创建数字表。我的修改后的查询在我昨天更正后返回了正确的结果 - 查看历史记录，只是屏幕打印错误。我的方法将只运行一次 - 您的基于循环的方法将对所有记录执行多次，因此对于长期服务会变得更糟，比如 20 年循环将执行 20 次。当我们谈论 Azure Synapse Analytics 时，我们通常谈论的是大数据、数百万行，因此我将尝试使用一些更大的数据集。

【解决方案2】：

我找到了使用循环的解决方法。后续步骤如下：

创建一个临时表来保存初始值。

CREATE TABLE #EMP
(
    EMPID VARCHAR(10),
    EMPNAME VARCHAR(10),
    START_DATE DATE,
    END_DATE DATE
);

插入初始值。

INSERT INTO #EMP 
SELECT '1001', 'Shivansh', '2015-09-01', '2018-03-31';

INSERT INTO #EMP 
SELECT '1004', 'Mayank', '2019-04-01', '2020-06-30';

创建所需的表。

CREATE TABLE #NEWEMP
(
    EMPID VARCHAR(10),
    EMPNAME VARCHAR(10),
    START_DATE DATE,
    END_DATE DATE
);

插入第一年的日期（即，如果元组的 START_DATE 是 2015-09-01，则插入 2015-09-01 对应 START_DATE 和 2015-12-31 对应 END_DATE）。

INSERT INTO #NEWEMP
SELECT EMPID, EMPNAME, START_DATE, DATEFROMPARTS(YEAR(START_DATE), 12, 31) FROM #EMP;

同样，插入最后一年的日期。

INSERT INTO #NEWEMP
SELECT EMPID, EMPNAME, DATEFROMPARTS(YEAR(END_DATE), 1, 1), END_DATE FROM #EMP;

运行 while 循环，直到 START_DATE 和 END_DATE 列之间的差值达到最大值。

DECLARE @counter INT = 1;
DECLARE @len INT = (SELECT MAX(DATEDIFF(YEAR, START_DATE, END_DATE)) FROM #EMP);

WHILE @counter < @len
BEGIN
    INSERT INTO #NEWEMP
    SELECT EMPID, EMPNAME, DATEFROMPARTS(YEAR(START_DATE) + @counter, 1, 1), DATEFROMPARTS(YEAR(START_DATE) + @counter, 12, 31) FROM #EMP
    WHERE @counter < DATEDIFF(YEAR, START_DATE, END_DATE);
    SET @counter += 1;
END

查询输出。

SELECT * FROM #NEWEMP ORDER BY START_DATE;

这是用 Azure Synapse Analytics 编写的查询。所需的输出是。

【讨论】：