了解 mllib 滑动

Question

我知道 Spark Structured Streaming 中的滑动窗口是事件时间窗口，它具有窗口大小（以秒为单位）和步长（以秒为单位）。

但后来我遇到了这个：

import org.apache.spark.mllib.rdd.RDDFunctions._

sc.parallelize(1 to 100, 10)
  .sliding(3)
  .map(curSlice => (curSlice.sum / curSlice.size))
  .collect()

我不明白这一点。这里没有活动时间，那么sliding是做什么的？

如果我在 .map 行中发表评论，我会得到如下结果：

[I@7b3315a5
[I@8ed9cf
[I@f72203
[I@377008df
[I@540dbda9
[I@22bb5646
[I@1be59f28
[I@2ce45a7b
[I@153d4abb
...

像这样在简单的整数上使用mllib的滑动方法是什么意思？ Jebrish 的价值观是什么？

Answer 1

在documentation 为sliding 我们可以看到：

通过在其上传递一个滑动窗口，将其父 RDD 的项目分组为固定大小的块，从而返回一个 RDD。排序首先基于分区索引，然后是每个分区内项目的排序。 [...]

所以在使用sc.parallelize(1 to 100, 10) 的情况下，顺序将是从 1 到 100 的连续数字。

sliding 操作的结果是Array。使用 print 将调用对象的 toString 方法，但是，Array 不会覆盖此方法，而是会使用 Object 中定义的方法 TypeName@hexadecimalHash，请参阅 How do I print my Java object without getting "SomeType@2f92e0f4"?。

您可以使用map(_.toSeq) 将数组转换为Seq，这将覆盖toString 方法（从而按预期打印列表）。或者您可以使用map(_.mkString(",")) 将数组转换为字符串。

使用sliding(3) 的结果将是（按此固定顺序）：

1,2,3
2,3,4
5,6,7
...
97,98,99