如何为scala中的空数据框现有列添加赋值？

Question

我正在阅读一个 csv 文件，其中包含 |最后的分隔符，而加载方法使数据框中的最后一列在 Spark 1.6 中没有名称且没有值

df.withColumnRenamed(df.columns(83),"Invalid_Status").drop(df.col("Invalid_Status"))

val df = sqlContext.read.format("com.databricks.spark.csv").option("delimiter","|").option("header","true").load("filepath") 
val df2 = df.withColumnRenamed(df.columns(83),"Invalid_Status").

I expected result 
root
 |-- FddCell: string (nullable = true)
 |-- Trn_time: string (nullable = true)
 |-- CELLNAME.FddCell: string (nullable = true)
 |-- Invalid_Status: string (nullable = true)

but actual output is
root
 |-- FddCell: string (nullable = true)
 |-- Trn_time: string (nullable = true)
 |-- CELLNAME.FddCell: string (nullable = true)
 |-- : string (nullable = true)

with no value in column so I have to drop this column and again make new column.

Answer 1

不完全清楚您想要做什么，只是将该列重命名为 Invalid_Status 或完全删除该列。我的理解是，您正在尝试对没有名称的最后一列进行操作（重命名/删除）。

但我会尽力帮助您解决这两个问题 -

使用相同的值（空白）重命名列：

val df2 = df.withColumnRenamed(df.columns.last,"Invalid_Status")

仅在不知道其名称的情况下删除最后一列，请使用：

val df3 = df.drop(df.columns.last)

然后使用默认值添加“Invalid_Status”列：

val requiredDf = df3.withColumn("Invalid_Status", lit("Any_Default_Value"))