Spark之中map与flatMap的区别

一直不太明白spark之中map与flatMap之间的区别。map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

区别1: 
flatMap返回的是迭代器中的元素。

Spark之中map与flatMap的区别

上面的例子说明对于传递给flatMap的函数返回的类型是一个可迭代的类型(例如list)。

现在比较一下map和flatMap接收返回值为可迭代类型的函数的区别:

Spark之中map与flatMap的区别

上例说明对于返回可迭代类型的函数map与flatMap的区别在于:

map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

操作2:最后将所有对象合并为一个对象

--------------------- 本文来自 一夜残雪 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/SparkOrHadoop/article/details/78226756?utm_source=copy

相关文章:

  • 2021-07-17
  • 2021-11-19
  • 2021-11-19
  • 2021-11-19
  • 2021-11-23
  • 2021-12-25
  • 2021-11-19
  • 2021-08-14
猜你喜欢
  • 2021-09-18
  • 2021-11-19
  • 2021-11-19
  • 2021-11-19
  • 2021-11-19
  • 2021-05-26
相关资源
相似解决方案