【问题标题】:Does a Cassandra Spark worker still have to marshal locally read data?Cassandra Spark 工作人员是否仍需要编组本地读取的数据?
【发布时间】:2014-12-07 02:02:06
【问题描述】:

我在某处读到 Datastax Search 节点在进程内运行 Solr,这意味着本地数据可以在内存中的 Cassandra 和 Solr 之间传递。

我想知道 Cassandra Spark 是否也是这种情况?

【问题讨论】:

    标签: cassandra apache-spark datastax


    【解决方案1】:

    Spark 与 Cassandra 完全分离。这是 Spark 对 Cassandra 的驱动程序的问题,而不是进程内通信。所以是的,它必须整理数据

    【讨论】:

    • 可惜了。如果 Spark 工作线程能够在内存中与其本地 Cassandra 节点进行通信,那么对性能的影响将是巨大的。
    • 关于驱动程序的“数据本地化意识”的说明 - 看幻灯片 47 slideshare.net/planetcassandra/cassandra-community-webinar
    • 我应该更清楚地说明我在谈论 DSE 分析,而不是 Cassandra 和 Spark 分开运行。由于 DSE 分析节点是使用单个命令启动的,因此我希望 Spark 将在进程中运行。也许是未来的一个?
    猜你喜欢
    • 1970-01-01
    • 2023-03-22
    • 2016-11-07
    • 1970-01-01
    • 2020-10-09
    • 2015-12-16
    • 1970-01-01
    • 1970-01-01
    • 2020-03-04
    相关资源
    最近更新 更多