Pyspark 查看第一行和第二行值并按顺序更新数据

Question

在 pyspark 中假设我们有三列 Start_date、duration、End_date。 我如何查看第一行end_date 和第二行Start_date。如果第二行 start_date 大于第一行结束日期，则不执行任何操作，否则如果第一行 End_date 小于第二行 Start_date，则将第二行 start_date 替换为第一行 end_date 并添加第二行的持续时间到start_date 并用新值替换第二行第二行的end_date。完成一组ID。

Answer 1

使用窗口 lag/lead 函数 partitionBy id，orderBy start_date 将第一行 end_Date 与第二行 start_date 进行比较。

• 使用when otherwise 语句和datediff 函数计算duration 列的日期差。