使用 map/filter 在 Pyspark 中的 RDD 中查找最大元素

Question

a = sc.parallelize((1,9,3,10))

我想在不使用任何 max 函数的情况下找到 a 中的最大元素。

我试过了 a.filter( lambda x,y: x if x>y else y)

我无法比较 RDD 中的元素。如何在 map/filter 函数中正确使用 for 循环或 if else 条件。有可能吗？

谢谢。

我试图发布一个不同的问题。但不能。

a = sc.parallelize((11,7,20,10,1,7))

我想在不使用 sort() 函数的情况下按升序对元素进行排序。

我试过了：

def srt(a,b):
if a>b:
    i=a
    a=b
    b=i   

final=a.map(lambda x,y: srt(x,y))

我没有得到所需的结果。

我想得到

  (1,7,7,10,11,20)

谢谢。

Answer 1

您无法使用过滤器找到最大值/最小值。您可以在 reduce 操作中使用比较来实现：

a = sc.parallelize([1,9,3,10])
max_val = a.reduce(lambda a, b: a if a > b else b)

lambda 只是比较并返回 2 个值中较大的一个。