Apache Spark + cassandra+Java +Spark session 显示所有记录

【问题标题】：Apache Spark + cassandra+Java +Spark session to display all recordsApache Spark + cassandra+Java +Spark session 显示所有记录
【发布时间】：2020-10-16 00:11:33
【问题描述】：

我正在开发一个 Spring Java 项目并使用 Datastax 连接器集成 Apache spark 和 cassandra。

我有 autowired sparkSession 并且下面的代码行似乎可以工作。

Map<String, String> configMap = new HashMap<>();
    configMap.put("keyspace", "key1");
    configMap.put("table", tableName.toLowerCase());

    Dataset<Row> ds = sparkSession.sqlContext().read().format("org.apache.spark.sql.cassandra").options(configMap)
            .load();
    ds.show();

但这总是给我 20 条记录。我想选择表的所有记录。有人能告诉我怎么做吗？

提前致谢。

【问题讨论】：

标签： apache-spark apache-spark-sql spark-cassandra-connector

【解决方案1】：

show 默认总是输出 20 条记录，尽管你可以传递一个参数来指定你需要多少条记录。但show 通常仅用于简要检查数据，尤其是在交互工作时。

在你的情况下，一切都取决于你想对数据做什么——你已经使用load函数成功加载了数据——之后你就可以开始使用普通的Spark函数了——select 、filter、groupBy等

附：您可以find here more examples 使用 Java 中的 Spark Cassandra 连接器 (SCC)，尽管它比使用 Scala 更麻烦...而且我建议您确保使用 SCC 2.5.0 或更高版本，因为many new features there。

【讨论】：