【问题标题】:DSE Analytics in Cluster Configuration集群配置中的 DSE 分析
【发布时间】:2019-01-16 12:10:22
【问题描述】:

以前我们有三个节点集群,一个 DC 中有两个 Cassandra 节点数据中心,另一个 DC 中有一个启用 spark 的节点。 Spark 在该配置中运行平稳。 然后我们尝试在启用了 spark 的情况下在分析 dc 中添加另一个节点。我们已经配置了 GossipingPropertyFileSnitch 并添加了种子。 但是现在当我们启动集群时,spark master 被分别分配给两个节点。所以火花作业仍然在单个节点上运行。关于在集群中运行 spark 作业,我们缺少哪些配置?

【问题讨论】:

    标签: apache-spark cassandra datastax datastax-enterprise spark-cassandra-connector


    【解决方案1】:

    很可能您没有对 Analytics 键空间复制进行调整,或者在添加节点后没有运行修复。请参考instructions in official documentation

    另外,请检查您是否为两个 Analytics 节点配置了相同的 DC,因为 Spark 主节点是按 DC 选出的。

    【讨论】:

    • 谢谢。我解决了这个问题。两个系统上的端口都被阻止。感谢您的及时回复。
    猜你喜欢
    • 1970-01-01
    • 2017-03-16
    • 1970-01-01
    • 2019-01-09
    • 2021-01-23
    • 2018-12-28
    • 1970-01-01
    • 1970-01-01
    • 2016-12-16
    相关资源
    最近更新 更多