1.1.2 Spark术语

       首先要说Spark的运行模式,Spark有很多模式,最简单的就是单机本地模式,还有单机为分布模式,复杂的则运行在集群中,目前能很好地运行在Yarn和Mesos中。Spark还有自带的Standalone模式,对于大多数情况Standalone模式就够了,如果企业已经有Yarn或者Mesos环境,也是很方便部署。Spark的几种运行模式和常见输入如下表1-1和表1-2所示:

大数据Spark企业级实战版【学习笔记】----Spark术语

大数据Spark企业级实战版【学习笔记】----Spark术语

       每个Spark程序都包含一个驱动程序,而这个驱动程序的任务就是执行用户的main函数,并且将各种算子分布到整个Spark集群中并行运行!

相关文章:

  • 2022-01-20
  • 2021-08-20
  • 2021-04-02
  • 2022-12-23
  • 2021-05-05
  • 2022-12-23
  • 2021-11-17
  • 2021-04-19
猜你喜欢
  • 2021-11-16
  • 2021-05-06
  • 2021-12-04
  • 2021-11-05
  • 2021-09-14
  • 2021-08-02
相关资源
相似解决方案