在使用 scala 访问 Int 列的每一行时需要帮助

Question

我正在尝试访问特定 Int 列“数字”的每一行，以跟踪数字列中的上一行和下一行。作为新手，尝试了以下几个示例，但我无法解决它。我在网上查了多个来源，但无法纠正。我确实认为列表/集合可能有效，但我不知道如何实现它。有人可以帮助我吗？

我尝试了以下方法，但出现“Int 不接受参数”错误

    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.expressions.Window
    import org.apache.spark.broadcast.Broadcast
    import org.apache.spark.rdd.RDD
    import org.apache.spark.sql.Row

    val df = df_new.select($"tin", $"year",$"mnth",
   struct($"date_begin", $"date_end",$"start",$"end",$"usage",$"numbers")
    as "data").rdd.groupBy(x => (x.getString(0),x.getInt(1),x.getInt(2)))
    .map( x => {

        val tin = x(0).getString(0)
        val year = x(0).getInt(1)
        val month = x(0).getInt(2)
        val use = x(0).getStruct(3).getFloat(4)
        var sum:Float = 0.0F
        val nums = x(0).getStruct(3).getInt(5)


        for (i <- x.indices)
                 {
                      val v = x(i).getStruct(3)
                      val n = x(i).getStruct(3).getInt(5)
                      var next = n(i+1)
                      var prev = n(i-1)

                      if(nums == next || nums == prev)
                      {
                         sum  =  sum + v.getFloat(4)
                      }
                      else
                      {
                          sum 
                      }
                      }
                      (tin,year,nums)
                }
            )

我需要获取如下数据

 numbers            next             prev
   0                  1              null
   1                  0              0
   0                  1              1
   1                  1              0
   1                  0              1
   0                  1              1
   1                  1              0
   1                  1              1
   1                  1              1
   1                  0              1
   0                null             1

Answer 1

这是比较两行的答案（因为我没有 Spark 设置，所以我使用通用 Scala 功能）。

如果l 是IterableLike，例如Seq或List你有一个函数sliding。

所以这里是一个例子：

val l = Seq(1,2,3,4,5)

l.sliding(2) // gives you Seq(List(1,2),List(2,1)..)
 .map{case x::y::_ => //here you can compare these two values

在您的情况下，x 和 y 可能是更复杂的类型。