Cassandra/Parquet union RDD

Question

我刚刚开始使用 spark-cassandra 连接器并遇到以下问题：我有一个数据集，部分位于 cassandra 中，部分位于 HDFS 中（完全相同的架构）。我想创建两个集合的单个 UnionRDD 并从那里继续。

到目前为止我的代码是这样的：

DataFrame df = sqlContext.parquetFile("foo.parquet");
JavaRDD cassandraRDD = (JavaRDD)javaFuntions(sc).cassandraTable("foo_ks","foo_table");
DataFrame cassandraDF = sqlContext.applySchema(cassandraRDD,df.schema());

我收到一个运行时错误，提示无法将 CassandraRow 强制转换为 spark.sql.Row，来自 applySchema 调用......这并不奇怪。什么是让它工作的正确方法？ （我的最终目标是联合 df 和 cassandraDF）。

我正在尝试使用 Spark 1.3.1 和 cassandra-spark 的主分支构建。

Answer 1

最简单的方法是编写一个地图函数，它将采用

1. 卡桑德拉街
2. 源架构对象
3. 目标架构对象

这个地图功能将

1. 使用源架构读取 cassandra 行（并处理问题，例如填充缺失的列、抑制存在某些数据质量问题的行等）
2. 将 cassandra 架构转换为 spark sql 架构（这是一个静态映射黑白 cassandra 类型到 sql 类型）
3. 返回带有目标架构的 SQL Row 对象

所以，你应该可以做喜欢的事

cDF = cRDD.map(c2r).createDataFrame() // map 会返回 row 所以这里不需要 applySchema

基本上，我建议使用单个函数来处理转换。一旦你从 cassandra 数据“创建”了一个 DF，你就可以与任何其他 DF 进行联合。