【问题标题】:how to pivot Spark dataframe table? [duplicate]如何旋转 Spark 数据框表? [复制]
【发布时间】:2019-02-08 14:04:36
【问题描述】:

我有这个 3 列的表:

+---+----+----+
| id|type| val|
+---+----+----+
|  1|   A|   0|
|  2|   A|   0|
|  4|   A|   0|
|  2|   B|   1|
|  4|   B|   1|
+---+----+----+

我想把它改成类似:

+---+----+----+
|   |   A|   B|
+---+----+----+
|  1|   0|   -|
|  2|   1|   1|
|  4|   0|   1|
+---+----+----+

我试过了,但没有用:

val data_array = data.pivot(cols=['type'],rows=['id'],values='val')

【问题讨论】:

    标签: scala apache-spark apache-spark-sql


    【解决方案1】:
    df.groupBy("id").pivot("type").agg(first("value")).na.fill("-").show
    

    df 是从测试数据文件创建的数据框

    【讨论】:

      猜你喜欢
      • 2015-04-04
      • 2020-05-29
      • 2011-12-20
      • 2018-06-08
      • 2019-11-14
      相关资源
      最近更新 更多