根据 pyspark RDD 检查列表中的项目答案

【问题标题】：Checking items in a list against a pyspark RDD根据 pyspark RDD 检查列表中的项目
【发布时间】：2021-06-11 04:41:00
【问题描述】：

我有以下带有 ID 及其计数的 pyspark RDD：

rdd = [('12', 560), ('34', 900), ('56', 800), ('78', 100), ('910', 220), ('125', 410), ('111', 41), etc.]

我有一个常规列表：

id_list = ['12', '125', '78']

我想要一个新的键值对列表，来自 id_list 的 'id' 和来自 rdd 的 'counts'。

所以预期的输出：

new_list = [('12', 560), ('125', 410), ('78', 100)]

如果 rdd 是一个 python 字典，我可以遍历 id_list，检查它是否在字典中并返回一个带有键和计数的新列表。但是我不知道如何使用 RDD 做到这一点。请指教。

我可能会尝试将 RDD 转换为字典，但这会破坏使用 spark 的目的。

【问题讨论】：

【解决方案1】：

您可以使用 lambda 函数过滤 RDD，该函数检查密钥是否在 id_list 中：

rdd2 = rdd.filter(lambda x: x[0] in id_list)

【讨论】：