Pandas UDF 不比 Spark UDF 快？ [复制]

Question

我从 Pyspark 网站获取了以下 UDF，因为我试图了解是否有性能改进。我做了很大范围的数字，但都花费了几乎相同的时间，我做错了什么？

谢谢！

import pandas as pd
from pyspark.sql.functions import col, udf
from pyspark.sql.types import LongType
import time

start = time.time()
# Declare the function and create the UDF
def multiply_func(a, b):
    return a * b

multiply = udf(multiply_func, returnType=LongType())

# The function for a pandas_udf should be able to execute with local Pandas data
x = pd.Series(list(range(1, 1000000)))
print(multiply_func(x, x))
# 0    1
# 1    4
# 2    9
# dtype: int64
end = time.time()
print(end-start)

这里是 Pandas UDF

import pandas as pd
from pyspark.sql.functions import col, pandas_udf
from pyspark.sql.types import LongType
import time

start = time.time()
# Declare the function and create the UDF
def multiply_func(a, b):
    return a * b

multiply = pandas_udf(multiply_func, returnType=LongType())

# The function for a pandas_udf should be able to execute with local Pandas data
x = pd.Series(list(range(1, 1000000)))
print(multiply_func(x, x))
# 0    1
# 1    4
# 2    9
# dtype: int64

Answer 1

除非您的数据足够大以至于无法仅由一个节点处理，否则不应考虑使用 spark。

Pandas 在单个节点上执行所有操作，而 Spark 将数据分发到多个节点进行处理。

因此，如果您在小数据集上比较性能，pandas 的性能可以胜过 spark。