【发布时间】:2017-05-16 16:50:18
【问题描述】:
我需要将少量数据写入 spark 应用程序中的 cassandra 表。数据不是 RDD,它只是一个 double 值。如何在使用 Java API 的 Spark 应用程序中执行此操作?
感谢任何提示。
【问题讨论】:
我需要将少量数据写入 spark 应用程序中的 cassandra 表。数据不是 RDD,它只是一个 double 值。如何在使用 Java API 的 Spark 应用程序中执行此操作?
感谢任何提示。
【问题讨论】:
作为一种快速解决方案,您可以像往常一样使用 sc.parallelize 并将 RDD 保存到 Cassandra。
如果您需要运行查询,可以使用 CassandraConnector 池,如文档中所示:
val connector = CassandraConnector(sc.getConf)
connector.withSessionDo(session => ...)
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md
【讨论】: