在代码中将RDD进行了hash重分区成56个partition,RDD中包含从HDFS上读取的4亿条记录,每一行记录存为RDD中的一个元素

所以最终RDD有4亿个元素,56个分区,对应spark程序中56个task

查看任务时显示如下:

Spark处理RDD,分区数和executor的关系

再结合spark的原理图:

Spark处理RDD,分区数和executor的关系

部门spark集群共有201个executor,总tasks数为56,每个executor具有3个cores,理论上每个executor可以处理1-4个task(可以有一个排队处理);

实际处理任务的时候,从201个executor中挑选出了56个executor来处理任务,

每个executor只处理一个task,所以并行度是56;

56个并行度同时往ES的一个Index里写入数据,ES集群共8台,设有8个主分片,

也就是一台数据节点处理一个分片,每个分片处理7个task的数据写入。

如果并行度增大,每个数据节点处理的tasks数过多,会造成集群崩溃宕机,所以在项目初始会进行压测。

相关文章:

  • 2021-07-14
  • 2021-07-27
  • 2021-07-01
  • 2021-06-28
  • 2022-12-23
  • 2021-09-29
  • 2021-09-24
  • 2021-12-30
猜你喜欢
  • 2021-07-17
  • 2021-04-28
  • 2022-12-23
  • 2021-12-08
  • 2021-10-21
  • 2022-12-23
  • 2021-06-23
相关资源
相似解决方案