我想获得 pyspark 中平均评分最高的语言

Question

我已经在数据块中的 pyspark notebook 中连接了 MongoDB，然后

rating.createOrReplaceTempView("rat")

使用这个用过的 spark SQL

lan = spark.sql("select language from (select language, avg(imdbRating), max(avg(imdbRating)) as m from rat group by language) group by language having avg(imdbRating) = m").show()

它正在抛出这个错误：

分析异常：不允许在另一个聚合函数的参数中使用聚合函数。请在子查询中使用内部聚合函数。;;

知道我哪里出错了。

编辑： 结果如下

+--------------------+
|            language|
+--------------------+
|English, Dutch, F...|
+--------------------+

Answer 1

您可以使用子查询并分配等级来获得最高评分的语言：

lan = spark.sql("""
    select language 
    from (
        select language, rank() over (order by avg_rating desc) as rn 
        from (
            select language, avg(imdbRating) as avg_rating
            from rat 
            group by language
        )
    ) where rn = 1
""")