是否可以加入相同 RDD 的两个实例

Question

所以，我有一个带有键值对 (SecondName, FirstName) 的 RDD。我们称之为SecondNameFirstName。现在我想为所有带有姓氏的名字创建 (FirstName, FirstName) 对。这种加入行得通吗？

SecondNameFirstName.join(SecondNameFirstName).map(x => x._2)

这个想法是，在进行连接之后，我将拥有 (SecondName, (FirstName, FirstName)) 的键值对。现在只取第二个元组，我将拥有 (FirstName, FirstName) 的键值对。

Answer 1

为什么要麻烦加入rdd？您可以将初始 rdd 映射到所需的结果：

val firstFirst= secondFirst.map{case (second, first) => (first, first)}