如何计算Pyspark中先前出现的次数

Question

我有以下 pyspark 数据框。

cust_id	apply_date
1	01-06-2014
1	01-07-2014
1	01-04-2018
1	01-07-2018
2	01-04-2015
2	01-05-2015
2	01-06-2015
2	01-09-2015

我想计算客户在过去 6 个月内提出的申请数量 不包括当前的应用程序。

所以输出应该是：

cust_id	apply_date	apps_prev_180_days
1	01-06-2014	0
1	01-07-2014	1
1	01-04-2018	0
1	01-07-2018	1
2	01-04-2015	0
2	01-05-2015	1
2	01-06-2015	2
2	01-09-2015	3

我尝试在窗口函数中创建滞后变量并计算应用程序，但是这只考虑了以前的应用程序而不是所有应用程序。 任何指针如何做到这一点？

Answer 1

我们可以使用Window 函数和.rangeBetween 方法（以秒为单位）来定义自定义时间间隔

import pyspark.sql.functions as F
from pyspark.sql.window import Window

# convert string type to actual date (if not done yet)
df = df.withColumn('apply_date', F.to_date('apply_date', 'dd-MM-yyyy'))

# number of days and seconds for time interval
days = 180
unix_seconds = days * 86400

# define window
w = Window\
  .partitionBy('cust_id')\
  .orderBy(F.col('apply_date').cast('timestamp').cast('long'))\
  .rangeBetween(-unix_seconds, -1)

df = df.withColumn('apps_prev_180_days', F.count('cust_id').over(w))

df.show()

+-------+----------+------------------+
|cust_id|apply_date|apps_prev_180_days|
+-------+----------+------------------+
|      1|2014-06-01|                 0|
|      1|2014-07-01|                 1|
|      1|2018-04-01|                 0|
|      1|2018-07-01|                 1|
|      2|2015-04-01|                 0|
|      2|2015-05-01|                 1|
|      2|2015-06-01|                 2|
|      2|2015-09-01|                 3|
+-------+----------+------------------+

在这种情况下，.rangeBetween(-unix_seconds, -1) 定义了从 180 天前到上一秒 (-1) 的时间间隔；这允许我们从计数中排除当前应用程序。

Answer 2

试试这个：

from pyspark.sql import functions as F, Window as W

df.withColumn(
    "apps_prev_180_days",
    F.count("*").over(
        W.partitionBy("cust_id")
        .orderBy(F.unix_timestamp("apply_date"))  # Date as unix timestamp (seconds)
        .rangeBetween(-(180 * 24 * 3600), -1)  # 180 days in secondes
    ),
).show()

+-------+----------+------------------+
|cust_id|apply_date|apps_prev_180_days|
+-------+----------+------------------+
|      1|2014-06-01|                 0|
|      1|2014-07-01|                 1|
|      1|2018-04-01|                 0|
|      1|2018-07-01|                 1|
|      2|2015-04-01|                 0|
|      2|2015-05-01|                 1|
|      2|2015-06-01|                 2|
|      2|2015-09-01|                 3|
+-------+----------+------------------+