检查值是否是另一对pyspark的键

Question

我想这个问题的答案可能太明显了。

但我想知道如何获取一个不作为我的 RDD 中任何对的键的值的列表，例如

pairs = [(3,2),(1,3),(1,4)] to [2,4] 

keys = pairs.keys().distinct()

现在我想过滤对的值并只返回那些 不在键中，例如：

filteredValues = pairs.values().filter(lambda x: x not in keys)

我得到的错误：

Exception: It appears that you are attempting to broadcast an RDD or reference an RDD from an action or transformation. RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(lambda x: rdd2.values.count() * x) is invalid because the values transformation and count action cannot be performed inside of the rdd1.map transformation. For more information, see SPARK-5063.

所以我清楚地看到问题在于我在对（RDD1）过滤功能中使用键（RDD2）。 问题是，我怎样才能克服这个问题，让我的过滤仍然正确？

感谢您提供建设性帮助。 谢谢。

Answer 1

读完这个问题后，我想到了自加入。不确定这是否是最简单的方法：

  val myRdd = spark.sparkContext.parallelize(Seq((1,1),(2,2),(3,4),(4,5),(5,6),(1,6)))

  val myRdd2 = myRdd.map(x => (x._2, x._1))     // swap values and keys
    .leftOuterJoin(myRdd)                       // and left-join with the original rdd
    .filter(x => x._2._2 == None)
    .map(x => x._1)
    .distinct()

LeftJoin 返回这些元组（见下文），因此需要最后三个步骤（过滤器、映射、不同）来过滤掉结果以获得“6”

...
(1,(1,Some(6)))
(6,(5,None))
(6,(1,None))
(5,(4,Some(6)))
...