DStream.foreachRDD 函数的含义是什么？

Question

在Spark Streaming中，每批数据间隔总是产生一个且只有一个RDD，为什么我们使用foreachRDD()来foreach RDD？ RDD只有一个，不需要foreach。 在我的测试中，我从来没有看到超过一个的 RDD。

Answer 1

DStream 或“离散流”是一种将连续数据流分解为小块的抽象。这称为“微批处理”。每个微批次成为一个 RDD，提供给 Spark 进行进一步处理。 每个批次间隔为每个 DStream 生成一个且只有一个 RDD。

RDD 是数据的分布式集合。将其视为一组指向实际数据在集群中的位置的指针。

DStream.foreachRDD 是 Spark Streaming 中的“输出运算符”。它允许您访问 DStream 的底层 RDD 以执行对数据执行实际操作的操作。例如，使用foreachRDD，您可以将数据写入数据库。

这里的小转折是理解 DStream 是一个有时间限制的集合。让我将其与经典集合进行对比：获取用户列表并对其应用 foreach：

val userList: List[User] = ???
userList.foreach{user => doSomeSideEffect(user)}

这会将副作用函数doSomeSideEffect 应用于userList 集合的每个元素。

现在，假设我们现在不知道所有用户，所以我们无法建立他们的列表。取而代之的是，我们有大量用户，例如在早高峰时来到咖啡店的人：

val userDStream: DStream[User] = ???
userDstream.foreachRDD{usersRDD => 
    usersRDD.foreach{user => serveCoffee(user)}
}

注意：

• DStream.foreachRDD 为您提供RDD[User]，不是单个用户。回到我们的咖啡示例，这是在某个时间间隔内到达的用户集合。
• 要访问集合的单个元素，我们需要对 RDD 进行进一步操作。在本例中，我使用 rdd.foreach 为每位用户提供咖啡。

考虑执行：我们可能有一群咖啡师在煮咖啡。那些是我们的执行者。 Spark Streaming 负责创建小批量用户（或订单），Spark 会将工作分配给咖啡师，以便我们可以并行化咖啡制作并加快咖啡供应。