一,创建RDD 最简单的方式就是把程序中一个已有的集合传给SparkContext 的parallelize()方法:

val lines = sc.parallelize(List("pandas", "i like pandas"))

二、更常用的方式是从外部存储中读取数据来创建RDD:

val lines = sc.textFile("/path/to/README.md")

 

相关文章:

  • 2022-12-23
  • 2021-07-07
  • 2022-12-23
  • 2022-01-09
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-04-04
  • 2021-11-07
  • 2021-05-03
  • 2021-07-27
  • 2021-07-18
  • 2021-10-19
  • 2021-07-14
相关资源
相似解决方案