使用 Spark 获取存储在 JSON 中的值列表的统计属性

Question

我使用以下结构以 JSON 格式存储我的数据：

{"generationId":1,"values":[-36.0431,-35.913,...,36.0951]}

我想获取文件（generationIds）平均值之间的间距分布（连续数字之间的差异）。

我的 zepplein notebook 的第一行是：

import org.apache.spark.sql.SparkSession
val warehouseLocation = "/user/hive/warehouse"
val spark = SparkSession.builder().appName("test").config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport().getOrCreate()
val jsonData = spark.read.json("/user/hive/warehouse/results/*.json")
jsonData.createOrReplaceTempView("results")

我现在才意识到，这不是一个好主意。上述 JSON 中的数据现在如下所示：

val gen_1 = spark.sql("SELECT * FROM eig where generationId = 1")
gen_1.show()
+------------+--------------------+
|generationId|              values|
+------------+--------------------+
|           1|[-36.0431, -35.91...|
+------------+--------------------+

所有值都在同一个字段中。

您知道如何以不同的方式解决这个问题吗？它不一定是 Hive。任何 Spark 相关的解决方案都可以。

值的数量可以是 ~10000，甚至更高。我想将此分布与已知函数（模拟与理论）一起绘制。

Answer 1

这个递归函数，不是非常优雅，当然也没有经过实战考验，可以计算差异（假设一个偶数大小的集合）：

def differences(l: Seq[Double]): Seq[Double] = {
    if (l.size < 2) {
      Seq.empty[Double]
    } else {
      val values = l.take(2)
      Seq(Math.abs(values.head - values(1))) ++ differences(l.tail)
    }
}

给定这样一个函数，你可以像这样在 Spark 中应用它：

jsonData.map(r => (r.getLong(0), differences(r.getSeq[Double](1))))