SparkRPC通信机制

  1. 主节点启动

  2. 从节点启动

  3. 从节点启动后,会向主节点注册信息,信息内容包括自己的cpu资源,内存资源等资源信息,还会向主节点注册自己的身份信息

  4. Master接收到Worker的注册信息后,会将Worker的注册信息存储到内存当中,通过Map集合以键值对的形式进行存储,存储成功后,会将注册成功的信息返回给Worker,告诉从节点已经注册成功

  5. 在Master和Worker正常通信后,Worker会通过心跳机制不断的向Master报活,Master也会通过心跳机制来检测Worker是否还存活,如果超时未连接到Worker,那么就将这个Worker视为宕机,从集群中干掉

原理图
SparkRPC通信机制

相关文章：

  • 2022-12-23
  • 2022-12-23
  • 2021-12-25
  • 2021-12-04
  • 2021-12-25
  • 2021-07-10
  • 2022-01-15
猜你喜欢
  • 2021-11-01
  • 2021-04-10
  • 2021-04-08
  • 2021-07-02
  • 2021-07-15
  • 2021-11-01
  • 2021-10-26
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode