为什么我的 Spark 运行速度比纯 Python 慢？性能比较

Question

在这里激发新手。我尝试使用 Spark 对我的数据框执行一些 pandas 操作，令人惊讶的是它比纯 Python 慢（即在 Python 中使用 pandas 包）。这是我所做的：

1) 在 Spark 中：

train_df.filter(train_df.gender == '-unknown-').count()

返回结果大约需要 30 秒。但是使用 Python 大约需要 1 秒。

2) 在 Spark 中：

sqlContext.sql("SELECT gender, count(*) FROM train GROUP BY gender").show()

同样的，Spark 大约需要 30 秒，Python 大约需要 1 秒。

我的 Spark 比纯 Python 慢得多的几个可能原因：

1) 我的数据集大约有 220,000 条记录，24 MB，这不是一个足够大的数据集来显示 Spark 的扩展优势。

2) 我的 spark 在本地运行，我应该在 Amazon EC 之类的地方运行它。

3) 在本地运行是可以的，但我的计算能力并没有削减它。这是 8 Gig RAM 2015 Macbook。

4) Spark 很慢，因为我正在运行 Python。如果我使用 Scala 会好很多。 （反对意见：我听说很多人都在使用 PySpark。）

其中哪一项是最可能的原因，或者最可信的解释？我很想听听一些 Spark 专家的意见。非常感谢！！

Answer 1

在较小的数据集上，Python 肯定会比 pyspark 表现更好。当您处理更大的数据集时，您会看到差异。

默认情况下，当您在 SQL 上下文或 Hive 上下文中运行 spark 时，它将默认使用 200 个分区。您需要使用sqlContext.sql("set spark.sql.shuffle.partitions=10"); 将其更改为 10 或任何值。它肯定会比默认更快。

1) 我的数据集大约有 220,000 条记录，24 MB，这不算大 足够的数据集来展示 Spark 的扩展优势。

您是对的，在较低的音量下您不会看到太大的差异。 Spark 也可能更慢。

2) 我的 spark 在本地运行，我应该以类似的方式运行它 而是亚马逊 EC。

对于您的音量可能没有多大帮助。

3) 本地运行没问题，但我的计算能力并没有减少 它。这是 8 Gig RAM 2015 Macbook。

同样，对于 20MB 的数据集也没有关系。

4) Spark 很慢，因为我正在运行 Python。如果我使用 Scala 它 会好很多。 （骗局：我听说很多人都在使用 PySpark 就好了。）

单独使用会有所不同。 Python 比 scala 有更多的运行时间开销，但在具有分布式能力的大型集群上，这无关紧要