火花键查找所有元组中忽略键的总元素

Question

我有如下的元组。我想计算元素的总数。我知道 countByKey() 给出每个键的元素数量。我也知道 distinct().countByKey() 按键给出不同的元素。

但我想要回答 5，因为共有 5 个元素。

有没有快速的方法来做同样的事情？

('http://www.google.com/base/feeds/snippets/11448761432933644608', ['spanish', 'vocabulary']), 
('http://www.google.com/base/feeds/snippets/8175198959985911471', ['topics', 'presents', 'museums'])

Answer 1

如果您的数据集存储在 RDD 中，那么您只需添加两个步骤，一个转换和一个归约。在下面的代码中，我使用map 将元组转换为整数，然后使用reduction 对所有记录求和。

rdd = sc.parallelize([('http://www.google.com/base/feeds/snippets/11448761432933644608', ['spanish', 'vocabulary']), 
                      ('http://www.google.com/base/feeds/snippets/8175198959985911471', ['topics', 'presents', 'museums'])])
rdd.map(lambda x: len(x[1])).reduce(lambda x, y : x + y)
# returns 5