如何使用 Cassandra 键空间创建火花数据框？答案

【问题标题】：How to create a spark dataframe with a Cassandra keyspace?如何使用 Cassandra 键空间创建火花数据框？
【发布时间】：2019-08-11 04:20:37
【问题描述】：

我在本地安装了 Cassandra。我必须使用 Google Colab 在 Spark 中工作，并且可以从我的本地数据库运行查询。但我知道可以更有效地连接 spark 和 cassandra。我想用来自 cassandra 键空间的数据创建一个数据框。你是怎么做到的？

我的密钥空间称为 yelp_data。它包含“评论”和“业务”表。

在我的项目中，我想要一个数据框 df =（来自我的 Cassandra 键空间的数据）。我使用 pyspark。

【问题讨论】：

标签： apache-spark cassandra pyspark spark-cassandra-connector

【解决方案1】：

只需按照documentation for Spark Cassandra Connector，并使用带有正确选项的spark.read，如下所示：

reviews_df = spark.read.format("org.apache.spark.sql.cassandra")\
  .options(table="reviews", keyspace="yelp_data").load()
business_df = spark.read.format("org.apache.spark.sql.cassandra")\
  .options(table="business", keyspace="yelp_data").load()

【讨论】：