将 PySpark Dataframe 列拆分为多个

Question

我有一个 pyspark 数据框列，其中包含如下数据。

Column 1
A1,A2
B1
C1,C2
D2

我必须根据逗号将列拆分为 2 列。输出应该如下。

Column 1    Column 2
A1          A2
            B1
C1          C2
            D2

我尝试使用 split() 函数，但我的 B1 和 D2 被填充到第 1 列而不是第 2 列。有没有办法实现上述输出？

Answer 1

这是使用split 和size 的一种方法：

from pyspark.sql.functions import split, size, col, when

df.withColumn("ar", split(df["Column 1"], ",")) \
  .withColumn("Column 2", when(
                             size(col("ar")) == 1, col("ar")[0])
                             .otherwise(col("ar")[1])) \
  .withColumn("Column 1", when(size(col("ar")) == 2, col("ar")[0])) \
  .drop("ar") \
  .show()

# +--------+--------+
# |Column 1|Column 2|
# +--------+--------+
# |      A1|      A2|
# |    null|      B1|
# |      C1|      C2|
# |    null|      D2|
# +--------+--------+

首先我们用逗号分隔Column 1，然后我们有条件地访问数组中的项目。