Pyspark 中的解码替代品

Question

我想在 Pyspark 数据帧中转换 SQL DECODE 函数逻辑。实现它的最佳方法是什么？

decode(true,
is_date(DATE,'mm/dd/yy'),to_date(DATE,'mm/dd/yy'),
is_date(DATE,'month dd,yyyy'),to_date(DATE,'month dd,yyyy'),
is_date(DATE,'dd month,yyyy'),to_date(DATE,'dd month,yyyy'),
is_date(DATE,'mm/dd/yyyy'),to_date(DATE,'mm/dd/yyyy') ,null)

请给点建议。

Answer 1

使用case。您的decode() 以true 开头，这似乎不正确。所以，我想你想要：

(case when is_date(DATE, 'mm/dd/yy') then to_date(DATE,'mm/dd/yy')
      when is_date(DATE, 'month dd,yyyy') then to_date(DATE,'month dd,yyyy')
      when is_date(DATE, 'dd month,yyyy') then to_date(DATE, 'dd month,yyyy'),
      when is_date(DATE, 'mm/dd/yyyy') then to_date(DATE, 'mm/dd/yyyy')
 end)

我不知道您的环境是否支持带有格式参数的is_date() 或to_date()（这些不是标准的SparkSQL 函数），但您的问题是关于decode()。

如果您的问题确实与这些函数有关，那么请提出一个新的问题，并非常清楚问题以及示例数据和期望的结果。

Answer 2

以下代码可能对您有所帮助：

df.withColumn('col1_modified', when(df.col1.isNull(), 'user_defined_1').when(df.col1==<col1_value>, 'user_defined_2').otherwise(df.col1)).show()