【问题标题】:Spark GC time is very high causing task execution slowSpark GC时间非常长导致任务执行缓慢
【发布时间】:2017-11-19 14:48:01
【问题描述】:

我在 5 节点集群上运行 spark 应用程序。每个节点的配置为 16 核和 64 GB 内存。

我的申请有 4 个阶段。第 4 阶段 3 个阶段执行速度很快,即 mapToPair 是否需要太多时间(几乎 4 小时)。

以下是job的工作统计数据

我也检查了执行程序日志,没有看到任何错误/异常。如果需要进行任何配置更改以提高性能,您能否建议我?

【问题讨论】:

标签: java apache-spark garbage-collection


【解决方案1】:

【讨论】:

  • 为什么要将执行器内存增加到 8g?在 executors 选项卡下,它显示存储内存为 49.2 KB/3.6 GB。
猜你喜欢
  • 2016-08-22
  • 1970-01-01
  • 1970-01-01
  • 2016-12-22
  • 2015-02-13
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多