在 spark Java API 中向我的数据集添加一个新列

Question

我是 Spark 的新手。 我的数据集包含两列。我想添加第三个，即两列的总和。

我的数据集是：

+---------+-------------------+
|C1       |       C2          |
+---------+-------------------+
|   44    |                 10|
|   55    |                 10|
+---------+-------------------+

我想获得这样的数据集：

+---------+-------------------+---------+
|C1       |       C2          |   C3    |
+---------+-------------------+---------+
|   44    |                 10|   54    |
|   55    |                 10|   65    |
+---------+-------------------+---------+

我们将不胜感激。

Answer 1

正确的解决办法是：

df.withColumn("C3", df.col1("C1").plus(df.col("C2")));

或

df.selectExpr("*", "C1 + C2");

有关更多算术运算符，请查看Column 文档中的Java-specific expression operators。