星火集群配置

Question

我正在使用具有两个节点的 spark 集群，每个节点都有两个执行程序（每个使用 2 个内核和 6GB 内存）。

这是一个很好的集群配置，可以更快地执行我的 spark 作业吗？

我是 spark 的新手，我正在对 8000 万行数据运行一项工作，其中包括重组繁重的任务，如聚合（计数）和连接操作（数据帧上的自连接）。

瓶颈：

1. 在读取数据时显示我的执行程序资源不足。
2. 在较小的数据集上，这需要很长时间。

我的方法应该是什么？如何消除瓶颈？
任何建议都将受到高度评价。

query="(Select x,y,z from table) as df"

    jdbcDF = spark.read.format("jdbc").option("url", mysqlUrl) \
    .option("dbtable", query) \
    .option("user", mysqldetails[2]) \
    .option("password", mysqldetails[3]) \ 
    .option("numPartitions", "1000")\
    .load()

这给了我一个数据框，它在 jdbcDF.rdd.getNumPartitions() 上给了我 1 的值。我在这里遗漏了什么吗？我想我没有并行化我的数据集。

Answer 1

有多种方法可以提高应用程序的性能。 PFB 的一些点可能会有所帮助。

1. 尽量减少要处理的记录数和列数。正如您所提到的，您是 spark 新手，您可能不需要全部 8000 万行，因此您可以根据需要过滤行。另外，选择需要但不是全部的列。

2. 如果您经常使用某些数据，请尝试考虑缓存数据，以便下次操作时从内存中读取数据。

3. 如果您要加入两个 DataFrame，并且其中一个足够小以适合内存，那么您可以考虑broadcast join。

4. 增加资源可能不会在所有情况下都提高应用程序的性能，但查看集群配置应该会有所帮助。投入更多资源并检查性能可能是个好主意。

5. 您也可以尝试使用 Spark UI 来监控您的应用程序，看看是否有少数任务比其他任务耗时。那么您可能需要处理数据的偏度。

6. 您可以尝试考虑根据您在过滤条件中使用的列对数据进行分区。