spark编程模型

======

spark如何工作的?

1、user应用产生RDD,操作变形,运行action操作

2、操作的结果在有向无环图DAG中

3、DAG被编译到stages阶段中

4、每一阶段作为任务的一部分被执行(一个task对应一个partition分块)

========

narrow transformation和wide transformation

1, narrow transformation, 

map()   filter()

2,wide transformation

groupByKey()

reduceByKey()

=============

 

相关文章:

  • 2021-05-25
  • 2021-06-24
  • 2021-09-17
  • 2021-12-04
  • 2022-01-08
  • 2021-08-24
  • 2021-09-30
  • 2021-11-18
猜你喜欢
  • 2021-11-12
  • 2021-08-17
  • 2021-09-14
  • 2021-09-08
  • 2021-07-06
  • 2021-12-31
  • 2021-07-12
  • 2021-12-24
相关资源
相似解决方案