【发布时间】:2022-01-06 09:07:34
【问题描述】:
我有一个带有列标签的 pyspark 数据框:
label
0
1
2
3
0
我想创建一个新列new_label,将所有不是3 的值更改为0。
只有 2 个类:0 和 3
我对 pyspark 很陌生。我该怎么做?
【问题讨论】:
-
你想要一个 UDF 还是你想要好的实践方式?
我有一个带有列标签的 pyspark 数据框:
label
0
1
2
3
0
我想创建一个新列new_label,将所有不是3 的值更改为0。
只有 2 个类:0 和 3
我对 pyspark 很陌生。我该怎么做?
【问题讨论】:
假设 df 是您的数据框:
from pyspark.sql import functions as F
df = df.withColumn("new_label", F.when(F.col("label") == 3, 3).otherwise(0))
【讨论】: