使用 TTL 将 Spark 保存到 Cassandra

Question

我正在使用 Spark-Cassandra 连接器 1.1.0 和 Cassandra 2.0.12。

我通过 saveToCassandra() Java API 方法将 RDD 写入 Cassandra。

有没有办法通过连接器设置持久化记录的 TTL 属性？

谢谢，

晒

Answer 1

不幸的是，使用 1.1.0 版本的连接器似乎没有办法做到这一点（据我所知）。不过 1.2.0-alpha3 中有一种方法。

saveToCassandra() 是 WriterBuilder 的包装器，它有一个 withTTL 方法。您可以使用writerBuilder(keyspace,table,rowWriter).withTTL(seconds).saveToCassandra()，而不是使用saveToCassandra。

Answer 2

是的，我们可以做到。 只需设置 spark 配置键“spark.cassandra.output.ttl”。同时创建 sparkConf 对象。

注意：值应以秒为单位