使用 reduceByKey 会抛出 int object is not subscriptable 错误

【问题标题】：Using reduceByKey is throwing an int object is not subscriptable error使用 reduceByKey 会抛出 int object is not subscriptable 错误
【发布时间】：2021-03-27 19:29:24
【问题描述】：

这个代码给了我一个“int object is not subscriptable”的错误，尽管它为我的一个朋友工作。错误出现在我尝试使用 reduceByKey 计算平均值的第 4 行。这是为什么呢？

nonNullRDD = marchRDD.filter(lambda row: row.journal).filter(lambda row: row.abstract)
abstractRDD = nonNullRDD.map(lambda field: (field.journal, field.abstract))
splitRDD = abstractRDD.map(lambda word: (word[0], len(word[1].split(" "))))
groupedRDD = splitRDD.reduceByKey(lambda x, y: (x[0]+y[0], x[1]+y[1])).mapValues(lambda x: x[0]/x[1])

【问题讨论】：

标签： apache-spark pyspark rdd

【解决方案1】：

在reduceByKey 函数中，您提供了一个 lambda 函数，它作用于 RDD 的值，它是来自len(word[1].split(" ")) 的整数。你试图对一个整数执行x[0]，这会导致你得到错误。

我认为 RDD 应该采用 (key, (value, 1)) 的形式，这样代码的第四行就会给出每个键的平均值。为了实现这一点，您可以将第三行中的 lambda 函数更改为：

splitRDD = abstractRDD.map(lambda word: (word[0], (len(word[1].split(" ")), 1)))

【讨论】：