如何将 Avro 的 GenericData.Record 的 RDD 转换为 DataFrame？

Question

也许这个问题看起来有点抽象，这里是：

val originalAvroSchema : Schema   = // read from a file
val rdd : RDD[GenericData.Record] = // From some streaming source

// Looking for a handy:
val df: DataFrame   = rdd.toDF(schema)

我探索了spark-avro，但它只支持从文件中读取，而不是从现有的RDD 中读取。

Answer 1

import com.databricks.spark.avro._

val sqlContext = new SQLContext(sc)
val rdd : RDD[MyAvroRecord] = ...
val df = rdd.toAvroDF(sqlContext)