【问题标题】:Scala (Spark) concatenate Columns in a dataframe [duplicate]Scala(Spark)连接数据框中的列[重复]
【发布时间】:2021-09-02 15:28:59
【问题描述】:

下面的代码如何连接列表中的多个值?

concat(myList.map(fld => col(fld)): _*)

【问题讨论】:

标签: scala apache-spark apache-spark-sql scala-collections


【解决方案1】:

根据 Spark documentationconcat 函数的签名是 concat(col1, col2, ..., colN)。鉴于您的列表包含列名,即:c1, c2 ... cNmap 会将其中的每一个转换为 Column 类对象。使用col 函数完成转换。最后,_* 将解包(转换为 Column)列表项,类似于 python 的 * operator 的工作方式,分配 concat 参数。

【讨论】:

  • 谢谢,这是 scala 而不是 python。 _* 在 scala 中是否同样工作?
  • 没错!顺便here你可以找到concat的代码
猜你喜欢
  • 2023-03-26
  • 1970-01-01
  • 1970-01-01
  • 2019-03-13
  • 1970-01-01
  • 1970-01-01
  • 2016-05-14
  • 1970-01-01
  • 2020-05-29
相关资源
最近更新 更多