如何访问数据框列中的数组元素（scala）[重复]答案

【问题标题】：How to access an array element in dataframe column (scala) [duplicate]如何访问数据框列中的数组元素（scala）[重复]
【发布时间】：2019-02-06 17:29:49
【问题描述】：

dfElements2 中的第一列是array。我需要选择第一个元素(30002| 30005 | 30158 ...)而不是数组而不是整个数组，同时我选择纬度和经度：

数据框应该如下：

+-----------------------------------+
| short_name  |   lat    |   lng
+-----------------------------------+
|   30002     |37.9796566|-1.1317041|
|   30005     |37.9868856|-1.1371011|
|   30158     | 37.941845|-1.0681918|
|   30006     |37.9971704|-1.0993366|
+-----------------------------------+

能否告诉我是否有可能编辑命令results.address_components.short_name 以访问数组元素？

var DFResults2=DF_Google1.select(explode(DF_Google1 ("results"))).toDF("results")
var dfElements2=DFResults2.select("results.address_components.short_name","results.geometry.location.lat","results.geometry.location.lng")**
var dfElements3=dfElements2.select(explode(dfElements2("short_name"))).toDF("CP")

dfElements2.show()
dfElements2.printSchema()


+--------------------+----------+----------+
|          short_name|       lat|       lng|
+--------------------+----------+----------+
|[30002, Murcia, M...|37.9796566|-1.1317041|
|[30005, Murcia, M...|37.9868856|-1.1371011|
|[30158, Murcia, M...| 37.941845|-1.0681918|
|[30006, Murcia, M...|37.9971704|-1.0993366|
|[30100, Murcia, M...|38.0256612|-1.1640968|
|[30009, Murcia, M...|37.9887492|-1.1496969|
|[30008, Murcia, M...|37.9928939|-1.1317041|
|[30007, Murcia, M...|38.0077579|-1.0993366|
|[Murcia, MU, Regi...|37.9922399|-1.1306544|
|[30004, Murcia, M...|37.9822582|-1.1365014|
|[30003, Murcia, M...|37.9850434|-1.1221111|
|[Murcia, MU, Regi...|37.9922399|-1.1306544|
|[30152, Murcia, M...|37.9569734|-1.1496969|
|[30012, Murcia, M...|37.9651726|-1.1233101|
|[30011, Murcia, M...|37.9759009|-1.1089244|
|[30001, Murcia, M...|37.9856424|-1.1287061|
|[30010, Murcia, M...| 37.970285|-1.1424989|
+--------------------+----------+----------+

root
 |-- short_name: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- lat: double (nullable = true)
 |-- lng: double (nullable = true)

【问题讨论】：

标签： arrays scala apache-spark dataframe

【解决方案1】：

非常感谢您的帮助。两种方法都有效！

A2.select(col("results.address_components.short_name")(0),col("results.geometry.location.lat"),col("results.geometry.location.lng"))

A2.selectExpr("results.address_components.short_name[0]", "results.geometry.location.lat", "results.geometry.location.lng").show()

此外，我找到了一种使用 UDF 解决问题的方法：

val headValue = udf((arr: Seq[String]) => arr.head)
var dfElements3 = dfElements2.withColumn("CP",headValue(dfElements2("short_name")))
                             .select("CP","lat","lng")

【讨论】：

【解决方案2】：

您可以在列上使用apply 方法，或者getItem：

df.select(col("results.address_components.short_name")(0))

或

df.select(col("results.address_components.short_name").getItem(0))

【讨论】：

太棒了！它奏效了。

【解决方案3】：

试试这个：

df.selectExpr("short_name[0]", "lat", "lng")

第 n 项的选择实际上是一个 SQL 表达式，而不是一个列。所以如果你想使用.select，也可以使用expr：

df.select(expr("short_name[0]"), expr("lat"), expr("lng"))

【讨论】：

它也有效！非常感谢！