SparkSQLContext 数据框根据列数组选择查询

【问题标题】：SparkSQLContext dataframe Select query based on column arraySparkSQLContext 数据框根据列数组选择查询
【发布时间】：2021-04-27 01:31:42
【问题描述】：

这是我的数据框：

  authors: array (nullable = true)-->
    element: string (containsNull = true)

我想选择作者为 Udo Haiber 的所有书籍。

spark.sql("select *  from f  where authors="Udo Haiber" ").show

但当然它不起作用，因为作者是数组。

【问题讨论】：

【解决方案1】：

您可以使用array_contains 来检查作者是否在数组中：

spark.sql("select * from f where array_contains(authors, 'Udo Haiber')")

使用单引号引用作者姓名，因为您使用双引号作为查询字符串。

【讨论】：