Spark Dataframe 在性能上如何优于 Pandas Dataframe？ [关闭]

Question

谁能解释一下 Spark Dataframes 在执行时间方面比 Pandas Dataframes 更好。我正在处理中等数量的数据并进行 python 函数驱动的转换

例如，我的数据集中有一列数字从 1 到 100,000，并且想要执行基本的数字操作 - 创建一个新列，它是现有数字列的立方体。

from datetime import datetime
import numpy as np
import pandas as pd

def cube(num):
    return num**3

array_of_nums = np.arange(0,100000)

dataset = pd.DataFrame(array_of_nums, columns = ["numbers"])

start_time = datetime.now() 
# Some complex transformations...
dataset["cubed"] = [cube(x) for x in dataset.numbers]
end_time = datetime.now() 

print("Time taken :", (end_time-start_time))

输出是

Time taken : 0:00:00.109349

如果我使用具有 10 个工作节点的 Spark Dataframe，我可以期待以下结果吗？ （这是 Pandas DataFrame 所用时间的 1/10）

Time taken : 0:00:00.010935

Answer 1

1) Pandas 数据帧未分发，Spark 的数据帧已分发。 -> 因此，您不会从 Pandas DataFrame 中获得并行处理的好处，并且对于大量数据，Pandas DataFrame 中的处理速度会降低。

2) Spark DataFrame 向您保证容错（它是有弹性的），而 pandas DataFrame 不保证它。 -> 因此，如果您的数据处理在处理之间中断/失败，那么 spark 可以从 lineage (from DAG) 重新生成失败的结果集。 Pandas 不支持容错。你需要实现自己的框架来保证它。