【发布时间】:2017-08-19 21:04:50
【问题描述】:
对于在 Java 中使用 Spark SQL 查询 Cassandra 数据,我遇到了来自 datastax 的 2 个文档,版本为 4.6 和 5.0
5.0 文档推荐 HiveContext 而 4.6 文档推荐 CassandraSQLContext 。我应该使用哪一个?我正在使用 Apache Cassandra 3.9
【问题讨论】:
-
如果您使用的是 apache cassandra,则必须安装 spark... DSE 4.6 带有 spark 1.4.x,而 DSE 5.0 带有 1.6.x。如果您使用的是 spark 2.0,那么 SQLContext 和 Hivecontext 将被捆绑到 sparksession 中
-
我使用的是 spark 2.1。请给我举个例子好吗?
标签: apache-spark cassandra apache-spark-sql spark-cassandra-connector