【问题标题】:Querying Cassandra data using Spark SQL in Java在 Java 中使用 Spark SQL 查询 Cassandra 数据
【发布时间】:2017-08-19 21:04:50
【问题描述】:

对于在 Java 中使用 Spark SQL 查询 Cassandra 数据,我遇到了来自 datastax 的 2 个文档,版本为 4.65.0

5.0 文档推荐 HiveContext 而 4.6 文档推荐 CassandraSQLContext 。我应该使用哪一个?我正在使用 Apache Cassandra 3.9

【问题讨论】:

  • 如果您使用的是 apache cassandra,则必须安装 spark... DSE 4.6 带有 spark 1.4.x,而 DSE 5.0 带有 1.6.x。如果您使用的是 spark 2.0,那么 SQLContext 和 Hivecontext 将被捆绑到 sparksession 中
  • 我使用的是 spark 2.1。请给我举个例子好吗?

标签: apache-spark cassandra apache-spark-sql spark-cassandra-connector


【解决方案1】:

我认为如果您要使用 5.0 版本,则不会有 CassandraSQLContext - 自 4.7 以来它已被删除。

【讨论】:

  • 如果我使用的是 Apache Cassandra 3.9 怎么办?
  • 这取决于您使用的 DataStax Enterprise 版本 - 您有任何版本还是有独立的 cassandra?如果 cassandra 和 spark 是独立的,请尝试仅使用 spark-cassandra-connector 关注coderwall.com/p/o9bkjg/setup-spark-with-cassandra-connector(DataStax 开发的模块)
猜你喜欢
  • 2018-01-01
  • 2020-11-01
  • 1970-01-01
  • 2018-09-02
  • 2020-06-07
  • 2014-11-11
  • 2019-05-13
  • 1970-01-01
  • 2017-05-30
相关资源
最近更新 更多