如何用同一数据框中其他列的实际列值替换一列中的字符串值？

Question

我在一列中有一些字符串值，我想用其他列中的值替换该列中的子字符串，并将所有加号替换为空格（如下所示）。

我有这些 List[String] 映射，它们是动态传递的，mapFrom 和 mapTo 应该在索引中关联。

描述值：mapFrom: ["Child Name", "Child Age", "Child State"]

列名：mapTo: ["name", "age", "state"]

输入示例：

name, age, state, description
tiffany, 10, virginia, Child Name + Child Age + Child State
andrew, 11, california, Child State + Child Name + Child Age
tyler, 12, ohio, Child Age + Child State + Child Name

预期结果：

name, age, state, description
tiffany, 10, virginia, tiffany 10 virginia
andrew, 11, california, california andrew 11
tyler, 12, ohio, 12 ohio tyler

如何使用 Spark Scala 实现这一目标？

Answer 1

您想使用regexp_replace 将子字符串替换为另一列中的值。

首先，压缩两个列表（这里我将+到空格的更改添加到两个lsits中，但可以单独完成）：

val mapFrom = List("Child Name", "Child Age", "Child State") :+ " \\+ "
val mapTo = List("name", "age", "state").map(col) :+ lit(" ")
val mapToFrom = mapFrom.zip(mapTo)

假设输入数据框df，将所有子字符串替换为其各自的值，如下所示：

val df2 = mapToFrom.foldLeft(df){case (df, (from, to)) => 
  df.withColumn("description", regexp_replace($"description", lit(from), to))
}

使用提供的输入数据，结果符合预期：

+-------+---+----------+--------------------+
|name   |age|state     |description         |
+-------+---+----------+--------------------+
|tiffany|10 |virginia  |tiffany 10 virginia |
|andrew |11 |california|california andrew 11|
|tyler  |12 |ohio      |12 ohio tyler       |
+-------+---+----------+--------------------+