【问题标题】:Spark Scala withColumn getItemSpark Scala withColumn getItem
【发布时间】:2018-12-26 03:52:25
【问题描述】:

我有一些原型 scala 代码使用

.withColumn("column_name_dod", $"column_name".getItem("dod"))

我知道withColumn的意思,但我不知道getItem

【问题讨论】:

  • getItem 用于访问数组列中的元素或从映射类型列中按键获取值。 spark.apache.org/docs/latest/api/scala/…
  • 专门使用索引或属性名称获取数组中的元素,例如$"column_name".getItem(0)

标签: scala apache-spark-sql


【解决方案1】:

函数getItem()返回与dod键对应的值,该键位于column_name列下

所以,如果你有数据框

id column_name
1 {"dod": 4, "x": 10}
2 {"dod": 6, "x": 20}

那么,在你提到的操作之后,你会得到:

id column_name column_name_dod
1 {"dod": 4, "x": 10} 4
2 {"dod": 6, "x": 20} 6

【讨论】:

    猜你喜欢
    • 2021-07-13
    • 1970-01-01
    • 2021-11-09
    • 2019-03-20
    • 2020-10-04
    • 1970-01-01
    • 2017-12-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多