PySpark 函数在 mapValues 和过滤器之间表现不同

Question

我正在使用 pyspark 在 spark 中工作。当我使用下面的 lambda 时，我有一个格式为 [(key, (num, (min, max, count))),....] 的 rdd

t = fullBids.filter(lambda (value, stats): (stats[2] > 10 and stats[0] < value and value < stats[1]))

用

出错

tuple index out of range

但是当我在 mapValues 调用中使用它时，它会成功运行，正确返回 True 或 False。

ti = fullBids.mapValues(lambda (value, stats): (stats[2] > 10 and stats[0] < value and value < stats[1]))

我希望过滤器能够正常工作，但事实并非如此。有人可以解释我在这里缺少什么吗？

Answer 1

如果你分解你的 RDD 格式

(key, (num, (min, max, count)))

key = value
(num, (min, max, count)) = stats
num = stats[0]
(min, max, count) = stats[1]
min = stats[1][0]
max = stats[1][1]
count = stats[1][2]

所以你的stats[2] 超出范围

Answer 2

当您调用filter 时，value 是键值对 RDD 的键，而 stats 是 RDD 的值 ((num, (min, max, count)))，这就是您有 tuple index out of range 的原因。

当您调用 mapValues 时，value 是 num 而 stats 是 (min, max, count)。事实上，mapValues 转换传递了键值对 RDD 中的每个值。