【问题标题】:Why does using rank() windowing function break the parser?为什么使用 rank() 窗口函数会破坏解析器?
【发布时间】:2015-11-18 23:11:46
【问题描述】:

spark sql 的窗口函数在线文档包括以下示例:

https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html

SELECT
  product,
  category,
  revenue
FROM (
  SELECT
    product,
    category,
    revenue,
    dense_rank() OVER (PARTITION BY category ORDER BY revenue DESC) as rank
  FROM productRevenue) tmp
WHERE
  rank <= 2

我创建了一个看起来类似结构的 sql。但它不起作用

select id,r from (
          select id, name, 
          rank() over (partition by name order by name) as r
          from tt) v 
          where v.r >= 7 and v.r <= 12

这是错误:

Exception in thread "main" java.lang.RuntimeException: [3.25] 
      failure: ``)'' expected but `(' found

            rank() over (partition by fp order by fp) as myrank
                        ^

任何人都可以看出它们在结构上的不同之处吗?我从 2015 年 11 月 18 日开始使用 spark 1.6.0-SNAPSHOT。

【问题讨论】:

    标签: sql scala apache-spark apache-spark-sql


    【解决方案1】:

    我检查了源代码,似乎 rank() 需要 hive 支持。我正在用

    重建火花
     -Phive -Phive-thriftserver
    

    我确实确认:当使用 HiveContext 时,查询有效。

    【讨论】:

    • 重建是什么意思?我应该在哪里做这个?
    • @AswinJoseRoy 如果您自己在 Maven 上构建 Spark,则需要包含这些选项。如果您要下载预构建的 Spark,则需要获取包含 Hive 支持的版本。
    猜你喜欢
    • 2020-10-04
    • 2013-02-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-12-27
    • 2015-11-17
    • 2017-09-15
    相关资源
    最近更新 更多