Spark三 Spark运行核心机制简介

1 由驱动器程序发起集群上的并行操作

    例如Spark shell就是驱动器程序，通过对象SparkContext访问Spark

2 驱动器程序包含应用的main函数，定义集群上的RDD，可以对RDD进行相关操作

3 SparkContext是对计算集群的一个连接，shell启动时自动创建SparkContext对象sc

4 集群中的驱动器程序一般要管理多个执行器节点

Spark三 Spark运行核心机制简介

相关文章：

  • 2021-12-20
  • 2021-12-11
  • 2021-12-10
  • 2021-11-19
  • 2021-09-03
  • 2022-01-18
  • 2021-11-20
猜你喜欢
  • 2021-10-07
  • 2021-10-07
  • 2022-12-23
  • 2021-09-17
  • 2021-11-22
  • 2021-11-30
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode