RDD 中的键是否与数据帧中的索引相同？

Question

在 pyspark 中，键值对用于定义 RDD。但它们在概念上是否与数据帧中的索引相同？

Answer 1

RDD 以更一般的方式是分布在集群中的数据元素的分布式集合。键/值对定义了一个pair RDD，一种RDD。

Spark 数据帧本质上是无序的，因此没有熊猫中的索引概念。每行都被视为结构化数据的独立集合。