如何使用模式将数据帧转换为 avro？

【问题标题】：How to convert dataframe to avro using schema?如何使用模式将数据帧转换为 avro？
【发布时间】：2017-10-18 07:56:08
【问题描述】：

如何使用用户指定的架构将数据帧转换为 Avro 格式？

【问题讨论】：

标签： apache-spark apache-spark-sql avro spark-avro

【解决方案1】：

您应该使用允许从 Spark SQL 读取和写入 Avro 数据的 spark-avro 模块。

import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession

val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
  .read
  .format("com.databricks.spark.avro")
  .option("avroSchema", schema.toString)
  .load("src/test/resources/episodes.avro")

【讨论】：