获取唯一的 RDD 字符串

Question

我创建了以下示例 RDD，

val rdd = sc.parallelize(List(("something1@domainA.com"), 
                              ("something2@domainA.com"), 
                              ("something3@domainB.com")))

//I used the following to split,

val rdd1 = rdd.map(_.split("@")) //RDD[Array[String]]

我现在要做的是获得一个具有不同域的新 RDD，即

val finalrdd = sc.parallelize(List(("domainA"), 
                                   ("domainB")))

我找到了this post，但我无法让它工作。

Answer 1

试试：

rdd.map(_.split("@")).flatMap { case Array(_, d) => d.split("\\.").headOption }.distinct