spark cassandra 连接器中的多个触点答案

【问题标题】：multiple contact points in the spark cassandra connectorspark cassandra 连接器中的多个触点
【发布时间】：2015-10-31 14:12:21
【问题描述】：

我已经设置了 spark 和 cassandra 集群，并且在我的 spark 作业中使用了 cassandra 连接器。现在要运行我的工作，我使用 spark.cassandra.connection.host 并在一个数据中心传递种子节点的 IP 地址之一。我正在浏览连接器站点及其状态，例如

"The initial contact node given in spark.cassandra.connection.host can be any node of the cluster. The driver will fetch the cluster topology from the contact node and will always try to connect to the closest node in the same data center. If possible, connections are established to the same node the task is running on."

我的查询是如果联系人节点关闭会发生什么。 Spark 将无法获取集群拓扑，因此无法工作。我还为 cassandra 使用了 nodejs 连接器，我们在那里提供了一系列接触点。是否可以在 spark cassandra 连接器中使用

【问题讨论】：

标签： cassandra apache-spark

【解决方案1】：

嗯，根据connector documentation，

可以使用逗号分隔的列表传入多个主机（“127.0.0.1,127.0.0.2”）。这些只是最初的接触点，本地 DC 中的所有节点都将在连接时使用。

因此，您可以随意在其中添加尽可能多的联系点。只要至少有一个可以从我们的客户端连接，您就可以开始了。

【讨论】：

哦，这在早些时候不存在。可能是 spark cassandra 连接器的新手。
@Nipun Cassandra 为您工作的怎么样？我现在正在研究它，主要是因为我对它的复制功能感兴趣（跨数据中心，主要用于低延迟访问）。
我们有两个数据中心的小型设置。到现在还没有投诉。我们最感兴趣的是高写入，因为我们有很多分析数据。 cassandra 的唯一要点是它不是灵活查询的数据库。它主要是一个用于分析的数据库
@Nipun 太好了，如果您能够验证此答案是否有效，请在此处发表评论。其他人可能会觉得它很有用。
当然让我验证一下

【解决方案2】：

不，您不能将主机数组传递给“spark.cassandra.connection.host”（尽管，如果您愿意，您可以编写一个服务来检查所有主机的连接，然后有条件地使用一个作为您的SparkConfig)。

但是，从documentation 看来，我们可以假设 spark-cassandra 将选择任何 WORKING 节点（这意味着只要您在主机上有一个节点，它就会工作）。

spark.cassandra.connection.host中给出的初始联系节点可以是集群的任意节点。

另外，这听起来像如果一个节点关闭，请求将在本地节点（不是不同的主机）上重试

如果本地数据中心的某些节点宕机并且读写操作失败，则不会在其他数据中心的节点上重试该操作。

希望这会有所帮助。

【讨论】：

是的，但我的问题仍未得到解答。那么如果spark连接的节点宕机了，并且还没有发现拓扑，我认为它无法连接和检索数据会发生什么
据我了解... spark 没有连接到特定节点，它正在连接到主机然后选择一个节点。如果您的主机已关闭，那么您的应用程序将失败。如果您主机上的所有节点都关闭，则应用程序将失败。所以是的，如果您的主机宕机，那么它将无法检索数据。
主机和节点有什么区别？根据文档“spark.cassandra.connection.host 中给出的初始联系节点可以是任何节点”