在 Spark Scala 中使用“withColumn”函数的替代方法

Question

我正在审查开发代码，我需要避免或使用不同的方式在数据框中使用“withColumn”函数来添加列；但我有以下疑问：

1. 使用嵌套的'withColumn'，创建新表（如下面的代码）？使用 6 'withColumn'，在内存表中创建 6 个新的？

newDataframe = table
.withColumn("name", col("consolidate").cast(DecimalType(17,2)))
.withColumn("name", col("consolidate").cast(DecimalType(17,2)))

1. 如果使用许多“withColumn”会增加内存使用量并降低性能（如果为真），如何在数据框中添加列时避免使用“withColumn”并获得相同的结果？

2. 有没有一种方法可以在不使用'withColumn'的情况下消耗更少的内存并且运行速度更快，但得到相同的结果？，即添加了6列的数据帧

我不知道该怎么做。

要优化的代码是这样的：

def myMethod(table: DataFrame): DataFrame = {
    newDataframe = table
      .withColumn("name", col("consolidate").cast(DecimalType(17,2)))
      .withColumn("id_value", col("east").cast(DecimalType(17,2)))
      .withColumn("x_value", col("daily").cast(DecimalType(17,2)))
      .withColumn("amount", col("paid").cast(DecimalType(17,2)))
      .withColumn("client", col("lima").cast(DecimalType(17,2)))
      .withColumn("capital", col("econo").cast(DecimalType(17,2)))
    newDataframe
  }

Answer 1

这里有一个误解：Spark 不会在内存中创建 6 个中间数据集。实际上，您的函数不会触发内存中的任何更改，因为 Spark 转换（例如 withColumn）仅在调用操作（例如 .count() 或 .show()）时才被延迟评估。

当调用动作时，Spark 会优化你的转换并一次性完成，所以调用 6 次 .withColumn 在内存方面没有问题。