使用地图重命名和选择 Apache Spark 数据框（Scala）上的列 [重复]

Question

从数据框开始：

val someDF = Seq(
  (8, "bat", "h"),
  (64, "mouse", "t"),
  (-27, "horse", "x")
).toDF("number", "thing", "letter")

someDF.show()

+------+-----+------+
|number|thing|letter|
+------+-----+------+
|     8|  bat|     h|
|    64|mouse|     t|
|   -27|horse|     x|
+------+-----+------+

还有一个Map：

val lookup = Map(
  "number" -> "id",
  "thing" -> "animal"
)

我想选择并重命名列，使 number 变为 id、 thing 变成 animal 等等。

另一个 Stack Overflow 问题涉及重命名：Renaming column names of a DataFrame in Spark Scala，我确信有一种直接的方法可以在我没有看到的同时进行选择。

我认为沿着这些思路的东西会起作用，但是尽管输入是字符串并且它使用 Seq 而不是映射，但还是会出现很多类型不匹配：

val renamed_selected = someDF.select(
      lookup.map(m => col(m._1).as(m._2))
    ):_*

所以想要的输出是：

+------+------+
|id    |animal|
+------+------+
|     8|  bat |     
|    64|mouse |     
|   -27|horse |     
+------+------+

谢谢?????????

关于重复问题标志的说明：问题Renaming column names of a DataFrame in Spark Scala 未涵盖如何同时重命名和选择列。

Answer 1

这是一种方法；使用模式匹配检查名称是否存在于lookup 中，如果不使用原始名称，则为该列指定别名：

val cols = someDF.columns.map(name => lookup.get(name) match { 
  case Some(newname) => col(name).as(newname) 
  case None => col(name) 
})

someDF.select(cols: _*).show
+---+------+------+
| id|animal|letter|
+---+------+------+
|  8|   bat|     h|
| 64| mouse|     t|
|-27| horse|     x|
+---+------+------+

如果您只需要查找中的列：

val cols = someDF.columns.collect(name => lookup.get(name) match { 
  case Some(newname) => col(name).as(newname) 
})

someDF.select(cols: _*).show
+---+------+
| id|animal|
+---+------+
|  8|   bat|
| 64| mouse|
|-27| horse|
+---+------+