pyspark count 给定列的每一行中的下划线数

Question

我正在使用 pyspark 版本 1.5.2。我有一个带有“id”列的 pyspark dataframe，如下所示：

id
------------
000001_128
000123_1_3 
006745_8
000000_9_7

我想计算 DF 每一行中 '_'（下划线）的数量并执行 when 操作，如果字符串中只有 1 个下划线，我想添加 '_1' 作为后缀，否则保持原样。所以想要的结果是：

id          | new_id
------------------------
000001_128  | 000001_128_1
000123_1_3  | 000123_1_3
006745_8    | 006745_8_1
000000_9_7  | 000000_9_7

我正在使用 pyspark.sql.functions 进行其他操作。

感谢任何帮助！

Answer 1

这是一种非 udf 方法：

您可以使用与this answer 相同的方法来计算每个id 中_ 的数量，并使用pyspark.sql.functions.when() 检查计数是否等于1。如果是，请使用pyspark.sql.functions.format_string() 来使new_id，否则保持列不变：

import pyspark.sql.functions as f

df.withColumn(
    "new_id",
    f.when(
        (f.size(f.split("id", "_"))-1) == 1,
        f.format_string("%s_1",f.col("id"))
    ).otherwise(f.col("id"))
).show()
#+----------+------------+
#|        id|      new_id|
#+----------+------------+
#|000001_128|000001_128_1|
#|000123_1_3|  000123_1_3|
#|  006745_8|  006745_8_1|
#|000000_9_7|  000000_9_7|
#+----------+------------+

Answer 2

from pyspark.sql.functions import udf

@udf(returnType='string')
def fmt(s):
    return s if s.count('_')!=1 else f'{s}_1'


df.withColumn('id', fmt(df.id))