更改现有数据框的架构答案

【问题标题】：Change schema of existing dataframe更改现有数据框的架构
【发布时间】：2018-11-10 12:25:49
【问题描述】：

我想更改现有数据框的架构，但在更改架构时遇到错误。是否可以更改数据框的现有架构。

val customSchema=StructType(
      Array(
        StructField("data_typ", StringType, nullable=false),
        StructField("data_typ", IntegerType, nullable=false),
        StructField("proc_date", IntegerType, nullable=false),
        StructField("cyc_dt", DateType, nullable=false),
        ));

val readDF=
+------------+--------------------+-----------+--------------------+
|DatatypeCode|         Description|monthColNam|     timeStampColNam|
+------------+--------------------+-----------+--------------------+
|       03099|Volumetric/Expand...|     201867|2018-05-31 18:25:...|
|       03307|  Elapsed Day Factor|     201867|2018-05-31 18:25:...|
+------------+--------------------+-----------+--------------------+

val rows= readDF.rdd
val readDF1 = sparkSession.createDataFrame(rows,customSchema)

预期结果

val newdf=
    +------------+--------------------+-----------+--------------------+
    |data_typ_cd |       data_typ_desc|proc_dt    |     cyc_dt         |
    +------------+--------------------+-----------+--------------------+
    |       03099|Volumetric/Expand...|     201867|2018-05-31 18:25:...|
    |       03307|  Elapsed Day Factor|     201867|2018-05-31 18:25:...|
    +------------+--------------------+-----------+--------------------+

任何帮助都会被应用

【问题讨论】：

你能给我们readDF的架构吗

标签： scala apache-spark dataframe

【解决方案1】：

您可以执行这样的操作来将数据类型从一种更改为另一种。

我创建了一个类似于您的数据框，如下所示：

import sparkSession.sqlContext.implicits._
import org.apache.spark.sql.types._

var df = Seq(("03099","Volumetric/Expand...", "201867", "2018-05-31 18:25:00"),("03307","Elapsed Day Factor", "201867", "2018-05-31 18:25:00"))
  .toDF("DatatypeCode","data_typ", "proc_date", "cyc_dt")

df.printSchema()
df.show()

这给了我以下输出：

root
 |-- DatatypeCode: string (nullable = true)
 |-- data_typ: string (nullable = true)
 |-- proc_date: string (nullable = true)
 |-- cyc_dt: string (nullable = true)

+------------+--------------------+---------+-------------------+
|DatatypeCode|            data_typ|proc_date|             cyc_dt|
+------------+--------------------+---------+-------------------+
|       03099|Volumetric/Expand...|   201867|2018-05-31 18:25:00|
|       03307|  Elapsed Day Factor|   201867|2018-05-31 18:25:00|
+------------+--------------------+---------+-------------------+

如果您看到上面的架构，所有列都是字符串类型。现在我想把proc_date列改成Integer类型，把cyc_dt改成Date类型，我会这样做：

df = df.withColumnRenamed("DatatypeCode", "data_type_code")

df = df.withColumn("proc_date_new", df("proc_date").cast(IntegerType)).drop("proc_date")

df = df.withColumn("cyc_dt_new", df("cyc_dt").cast(DateType)).drop("cyc_dt")

当您检查此数据框的架构时

df.printSchema()

然后它使用新列名给出如下输出：

root
 |-- data_type_code: string (nullable = true)
 |-- data_typ: string (nullable = true)
 |-- proc_date_new: integer (nullable = true)
 |-- cyc_dt_new: date (nullable = true)

【讨论】：

首选col("columnName") 而不是df("columnName")，这样您就可以避免对数据框名称的内部引用，并且您可以以流畅的方式编写代码作为单个表达式。
是的，这是很久以前回答的，目前，我使用的方式与您所指的相同......

【解决方案2】：

您不能像这样更改架构。传递给createDataFrame 的架构对象必须匹配数据，而不是相反：

解析时间戳数据使用相应的函数，例如Better way to convert a string field into timestamp in Spark
要更改其他类型，请使用cast 方法，例如how to change a Dataframe column from String type to Double type in pyspark

【讨论】：