向/从 RDD 添加/选择字段

Question

我有一个 RDD，可以说是 dataRdd，其中包含 timestamp、url、...等字段。

我想从这个dataRdd 创建一个包含少量字段的新RDD。

以下代码段创建新的 RDD，其中 timestamp 和 URL 被视为值而不是字段/列名：

var fewfieldsRDD= dataRdd.map(r=> ( "timestamp" -> r.timestamp , "URL" ->   r.url))

但是，对于以下代码段，one、two、three、arrival 和 SFO 被视为列名。：

val numbers = Map("one" -> 1, "two" -> 2, "three" -> 3)
val airports = Map("arrival" -> "Otopeni", "SFO" -> "San Fran")
val numairRdd= sc.makeRDD(Seq(numbers, airports))

谁能告诉我我做错了什么以及如何创建一个新的 Rdd，其字段名称映射到另一个 Rdd 的值？

Answer 1

您正在创建元组的 RDD，而不是 Map 对象。试试：

var fewfieldsRDD= dataRdd.map(r=> Map( "timestamp" -> r.timestamp , "URL" ->   r.url))