未找到 spark-sql 中的聚合函数答案

【问题标题】：Aggregate function in spark-sql not found未找到 spark-sql 中的聚合函数
【发布时间】：2015-10-15 05:46:09
【问题描述】：

我是 Spark 的新手，我正在尝试使用一些聚合功能，例如 sum 或 avg。我在 spark-shell 中的查询完美运行：

val somestats = pf.groupBy("name").agg(sum("days")).show()

当我尝试从 scala 项目运行它时，它不起作用，抛出错误消息

not found: value sum

我已经尝试添加

import sqlContext.implicits._
import org.apache.spark.SparkContext._

就在命令之前，但它没有帮助。我的 spark 版本是 1.4.1 我错过了什么吗？

【问题讨论】：

【解决方案1】：

你需要这个导入：

import org.apache.spark.sql.functions._

【讨论】：

【解决方案2】：

你可以直接在GroupedData上使用sum方法（groupBy返回这个类型）

val somestats = pf.groupBy("name").sum("days").show()

【讨论】：