【发布时间】：2016-04-13 07:00:33
【问题描述】：
我是 Spark 新手，目前正在学习相关概念。我的一个基本问题是 Spark 中 RDD 的数量限制是多少？
【问题讨论】：
-
嗯，内存和磁盘空间可以限制您并行处理的 RDD 数量，但除此之外，您可以（AFAIK）拥有任意数量的 RDD :)
标签： apache-spark rdd
【发布时间】：2016-04-13 07:00:33
【问题描述】：
据我所知，Spark 中的 RDD 数量没有限制。
唯一的限制是 Spark 可以扩展/使用的内存和磁盘交换空间。
我一直在生产中运行 40 tb 的数据，但尚未达到任何限制。
【讨论】：