我们如何在 Apache Spark 中使用多个 Cassandra 设置？答案

【问题标题】：How do we operate with multiple Cassandra setups in Apache Spark?我们如何在 Apache Spark 中使用多个 Cassandra 设置？
【发布时间】：2015-11-03 06:01:25
【问题描述】：

我在两台不同的机器上有两种不同的 Cassandra 设置。我正在尝试从一台机器读取数据，使用 Spark 处理它，然后将结果写入第二个设置。我正在使用 spark-cassandra-connector-java_2.10。当我尝试使用 javaFunctions.writeBuilder 时，它允许我指定键空间和表名，但 Cassandra 主机是从 Spark 上下文中获取的。除了 Spark Context 中提到的方法之外，还有其他方法可以将数据写入 Cassandra 设置吗？我们如何覆盖这个默认设置？

【问题讨论】：

标签： apache-spark spark-cassandra-connector

【解决方案1】：

使用以下代码：

SparkConf confForCassandra = new SparkConf().setAppName("ConnectToCassandra")
                .setMaster("local[*]")
                .set("spark.cassandra.connection.host", "<cassandraHost>");

CassandraConnector connector = CassandraConnector.apply(confForCassandra);

javaFunctions(rdd).writerBuilder("keyspace", "table", mapToRow(Table.class)).withConnector(connector).saveToCassandra();

【讨论】：