如何将镶木地板文件转换为 Avro 文件？

Question

我是 hadoop 和大数据技术的新手。我喜欢将 parquet 文件转换为 avro 文件并读取该数据。我在几个论坛上搜索，它建议使用 AvroParquetReader。

AvroParquetReader<GenericRecord> reader = new AvroParquetReader<GenericRecord>(file);
GenericRecord nextRecord = reader.read();

但我不确定如何包含 AvroParquetReader。我不能够 完全导入它。

我可以使用 spark-shell 读取这个文件，并且可以将它转换为一些 JSON 然后可以将该 JSON 转换为 avro。但我正在寻找一个 更简单的解决方案。

Answer 1

如果您能够使用 Spark DataFrames，您将能够在 Apache Spark 中本地读取 parquet 文件，例如（在 Python 伪代码中）：

df = spark.read.parquet(...) 

要保存文件，您可以使用spark-avro Spark 包。要将 DataFrame 写成 avro，它会是这样的：

df.write.format("com.databricks.spark.avro").save("...")

不要忘记，您需要在您的 Spark 集群版本中包含正确版本的 spark-avro Spark 包（例如，3.1.0-s2.11 对应于使用 Scala 2.11 的 spark-avro 包 3.1，其中匹配默认的 Spark 2.0 集群）。有关如何使用该软件包的更多信息，请参阅https://spark-packages.org/package/databricks/spark-avro。

一些方便的参考资料包括：

1. Spark SQL Programming Guide
2. spark-avro Spark 包。