【发布时间】:2017-11-19 14:48:01
【问题描述】:
我在 5 节点集群上运行 spark 应用程序。每个节点的配置为 16 核和 64 GB 内存。
我的申请有 4 个阶段。第 4 阶段 3 个阶段执行速度很快,即 mapToPair 是否需要太多时间(几乎 4 小时)。
我也检查了执行程序日志,没有看到任何错误/异常。如果需要进行任何配置更改以提高性能,您能否建议我?
【问题讨论】:
-
如果您仍然需要帮助,能否添加您的具体配置?
-
你能解决这个问题吗?
标签: java apache-spark garbage-collection