RDD API Python如何进行计数答案

【问题标题】：RDD API Python how to make a countRDD API Python如何进行计数
【发布时间】：2021-09-01 16:05:33
【问题描述】：

我有一个包含这样元素的文件：

1,1_id,lucas,10

2,2_is,pierre,30

2,3_id,lucas,20

我想要这样的结果：

[(卢卡斯,30),(皮埃尔,30)]

我只需要使用RDD方式。

你有什么想法吗？

非常感谢

【问题讨论】：

您想要的输出看起来像是总和而不是计数。请用您尝试过的内容更新问题。 S/O 用户会在正确的方向上帮助您，而不是为您提供完整的解决方案。

标签： python apache-spark pyspark rdd

【解决方案1】：

这很容易。

# get last two elements
def f(s):
    s_list = s.split(',')
    return (s_list[2], int(s_list[3]))

r = sc.textFile('YOUR_FILE').\
        map(lambda line:f(line)).\
        reduceByKey(lambda x, y: x + y)

【讨论】：