Spark（shell），Cassandra：你好，世界？

Question

您如何获得基本的 Hello, world！使用 Cassandra 在 Spark 中运行的示例？到目前为止，我们已经找到了这个有用的答案：

How to load Spark Cassandra Connector in the shell?

效果很好！

然后我们尝试按照文档和入门示例进行操作：

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md

它说要这样做：

import com.datastax.spark.connector.cql.CassandraConnector

CassandraConnector(conf).withSessionDo { session =>
  session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }")
  session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)")
}

但它说我们没有com.datastax.spark.connector.cql？ 顺便说一句，我们从这里得到了 Spark 连接器：

Maven Central Repository (spark-cassandra-connector-java_2.11)

那么，在本地运行 Spark 和 Cassandra 之后，如何才能创建键空间、表和插入行？

Answer 1

您下载的 jar 仅包含 Java api，因此无法与 Scala Spark Shell 一起使用。我建议您按照 Spark Cassandra 连接器页面上的说明进行操作。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/13_spark_shell.md

这些说明将让您构建包含所有依赖项的完整程序集 jar，并使用 --jars 将其添加到 Spark Shell 类路径中。