广播单个值 Spark(python)

Question

假设我有以下列表和一个值：

alist = [1,2,3,4,5]
alistRDD = sc.parallelize(alist)
single_value = 3

我得到了以下功能：

def a_fun(x,y): 
    return x+y

我正在做以下事情：

alistRDD.map(lambda x:a_fun(x,single_value))

所以我将此函数用作第二个参数single_value。广播这个single_value 以便在所有节点中有意义吗？

Answer 1

当驱动程序将此转换提交给工作人员时，它只会传递它自己的值而不是参数。所以从性能的角度来看，它可能会更好。没有任何逻辑分配的广播数据是没有价值的。您最好简单地传递变量并让序列化过程将其转换为值本身。希望这能回答你的问题。