通过 SparkStreaming 从 Cassandra 数据库中搜索需要时间

Question

我正在使用这一行从我的 Cassandra 数据库中获取条目

val  data1 =
  ssc.
    cassandraTable("orbigo2", "my_trips").
    select("trip_id").
    where ("user_id=?", uid)

但这需要很多时间，我猜原因是我的uid不是主键而是索引键。

有什么方法可以加快速度吗？

Answer 1

我只建议更改数据模型，以便 uid 将成为分区键 - 在这种情况下它会更快......现在它只是扫描整个表并提取必要的数据。

另外，您可以考虑使用DataFrames 而不是RDD - 它有更多优化，也许您可​​以使用二级索引。你可以在DataFrame上用.explain查看执行计划，看看数据是如何被访问的……