由于 Apache Spark 是建议用于 Cassandra 的分布式处理引擎，我知道可以将 Spark 执行器与 Cassandra 节点一起运行。 我的问题是，驱动程序和 Spark 连接器是否足够聪明，能够理解分区和分片分配，从而以超融合的方式处理数据。
简单地说，执行器是否从托管在执行器运行的节点上的分区中读取存储的数据，这样就不会像 Spark 在 HDFS 上运行时那样通过网络传输不必要的数据？
【问题讨论】：
标签： apache-spark cassandra spark-cassandra-connector
是的，Spark Cassandra 连接器能够做到这一点。来自source code：
getPreferredLocations方法告诉 Spark 要从中获取分区的首选节点，以便分区的数据与任务发送到的节点相同。 如果 Cassandra 节点与 Spark 节点并置，则查询始终发送到与 Spark Executor 进程在同一节点上运行的 Cassandra 进程，因此数据不会在节点之间传输。 如果 Cassandra 节点发生故障或在读取期间过载，查询将重试到不同的节点。
【讨论】：
理论上是的。 HDFS 也一样。 Howevet 实际上，我在使用云服务时将单独的节点用于 spark 和 Cassandra 的云上很少见。如果您使用 IAsAS 并设置自己的 Cassandra 和 Spark，那么您可以实现它。
【讨论】：
我想补充一下 Alex 的回答：
是的，Spark Cassandra 连接器能够做到这一点。从源头 代码：
getPreferredLocations 方法告诉 Spark 首选节点 从中获取一个分区，以便该分区的数据位于 任务发送到的同一节点。如果 Cassandra 节点与 Spark 节点，查询总是发送到 Cassandra 进程 与 Spark Executor 进程在同一节点上运行，因此数据是 不在节点之间传输。如果 Cassandra 节点发生故障或获取 在读取期间过载，查询将重试到不同的节点。
这是一种不好的行为。
在 Cassandra 中，当您要求获取特定分区的数据时，只会访问一个节点。由于复制，Spark 实际上可以访问 3 个节点。因此，在不改组的情况下，您有 3 个节点参与该作业。
然而，在 Hadoop 中，当您要求获取特定分区的数据时，通常会访问集群中的所有节点，然后 Spark 会使用集群中的所有节点作为执行器。
因此，如果您有 100 个节点：在 Cassandra 中，Spark 将利用 3 个节点。在 Hadoop 中，Spark 将利用 100 个节点。
Cassandra 针对实时操作系统进行了优化，因此并未针对数据湖等分析进行优化。
【讨论】：