Spark cassandra 连接器 - 在 where 条件下访问 RDD

Question

假设我有一个 RDD[Foo] 其中case class Foo(bar: String, baz: Int) 并且我在 Cassandra 中有一个表，分区键 bar 和集群键 baz

现在，我正在尝试将 RDD 与该表连接起来，并对集群键进行一些过滤：

rdd.joinWithCassandraTable("my_keyspace", "foo_table").where("baz < ???")

我应该用什么代替??? 来访问RDD 的baz 属性？

我想达到与以下伪sql相同的结果：

select * from my_keyspace.foo_table ct
join rdd
on ct.bar = rdd.bar
where ct.baz < rdd.baz

Answer 1

where 用于嵌入在 Cassandra 查询中的静态谓词。不能用于基于RDD的过滤。

为此，您必须使用标准 filter（因此将选择移至 Spark 端）。