【问题标题】:Writing small amount of data to cassandra table in Spark在 Spark 中将少量数据写入 cassandra 表
【发布时间】:2017-05-16 16:50:18
【问题描述】:

我需要将少量数据写入 spark 应用程序中的 cassandra 表。数据不是 RDD,它只是一个 double 值。如何在使用 Java API 的 Spark 应用程序中执行此操作?

感谢任何提示。

【问题讨论】:

    标签: apache-spark cassandra


    【解决方案1】:

    作为一种快速解决方案,您可以像往常一样使用 sc.parallelize 并将 RDD 保存到 Cassandra。

    如果您需要运行查询,可以使用 CassandraConnector 池,如文档中所示:

      val connector = CassandraConnector(sc.getConf)
      connector.withSessionDo(session => ...)
    

    https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md

    【讨论】:

      猜你喜欢
      • 2020-07-17
      • 2016-05-14
      • 2019-10-15
      • 2018-10-06
      • 2017-03-04
      • 1970-01-01
      • 2017-05-06
      • 2020-02-12
      • 2017-01-07
      相关资源
      最近更新 更多