使用python将空列添加到Spark中的数据框

【问题标题】：Add empty column to dataframe in Spark with python使用python将空列添加到Spark中的数据框
【发布时间】：2016-05-19 10:41:25
【问题描述】：

我有一个数据框，我想用另一个数据框创建一个 unionAll。问题是第二个数据框比第一个数据框多三列。有没有办法让我在我的第一个数据框中添加只有空单元格的三列？

【问题讨论】：

【解决方案1】：

使用 spark-dataframe 的 withColumn 对象
DF.withColumn("NewCol","Value")

【讨论】：

【解决方案2】：

df.withColumn('NewColumn', lit(None).cast(StringType()))

【讨论】：

【解决方案3】：

也许这会有所帮助

添加字符串类型列：

from pyspark.sql.types import StringType

df.withColumn("COL_NAME", lit(None).cast(StringType()))

添加整数类型

from pyspark.sql.types import IntegerType

df.withColumn("COL_NAME", lit(0).cast(IntegerType()))

【讨论】：