Spark-Streaming 中的 DStream 到 Rdd

【问题标题】：DStream to Rdd in Spark-StramingSpark-Streaming 中的 DStream 到 Rdd
【发布时间】：2020-06-03 08:41:52
【问题描述】：

我有一个DStream[String,String]，我需要将其转换为RDD[String,String]。有什么办法吗？我需要使用Scala 语言。

提前致谢！！

【问题讨论】：

【解决方案1】：

DStream 是 RDD 的离散序列。看看 Direct Stream API。

有了你的 DStream，你可以使用 forEach 函数为每个 RDD 应用转换：

val yourStream: DStream[String] = //...

yourStream.forEachRDD{ rdd =>
   // your rdd transformations...
}

你可以看看例子here

【讨论】：