如何将方法 bulkSaveToCassandra 与 spark-cassandra-connector 一起使用答案

【问题标题】：How to use method bulkSaveToCassandra with spark-cassandra-connector如何将方法 bulkSaveToCassandra 与 spark-cassandra-connector 一起使用
【发布时间】：2017-07-14 02:51:13
【问题描述】：

我正在尝试使用方法 bulkSaveToCassandra 和 spark-cassandra-connector 来优化我在 Cassandra 数据库中的插入。但是找不到方法，也不知道如何导入lib。

目前，我正在使用此依赖项：

<dependency>
            <groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector_2.11</artifactId>
            <version>2.0.2</version>
</dependency>

在 Datastax 中的方法 bulkSaveToCassandra 的参考之下： http://docs.datastax.com/en/datastax_enterprise/4.7/datastax_enterprise/migration/migratingBulkSparkRDD.html

我使用了链接中提供的导入，但它仍然不起作用。

最好的问候，

【问题讨论】：

标签： apache-spark cassandra spark-cassandra-connector

【解决方案1】：

该方法仅在 DataStax Enterprise 中可用。

所需的类位于 DSE 安装附带的 dse-spark*.jar 中。

例如，这可以从dse spark shell 获得。

尽管对于大多数用例，我建议只使用正常的写入方法，因为 bulkMethod 使用 sstable 写入器，它存在可用性问题，与生产用例不兼容。

【讨论】：