在 Apache Nifi 中将 Avro 转换为 Parquet答案

【问题标题】：Convert Avro To Parquet in Apache Nifi在 Apache Nifi 中将 Avro 转换为 Parquet
【发布时间】：2020-08-25 12:30:03
【问题描述】：

我想将我的 json 数据转换为 parquet 格式。

我使用了 GenerateFlowFile 并输入了虚拟 json 值 [{"firstname":"prathik","age":21},{"firstname":"arun","age":22}]。

我已经使用 ConvertRecord 处理器将 json 转换为 Avro，然后我使用了 ConvertAvroToParquet 处理器。

我得到以下输出（当被视为原始时）：

PAR1&&,6(prathikarunprathikarun,(

红点在哪里。

我尝试以“格式化”形式查看输出，但收到此消息：无法生成数据视图：不是数据文件

提前致谢

【问题讨论】：

您将无法在 NiFi 的内容查看器中查看 Parquet。您可以将流文件发送到 PutFile，然后使用 parquet-tools
你能详细说明拼花工具吗？谢谢。
github.com/apache/parquet-mr/tree/master/parquet-tools stackoverflow.com/questions/53306327/installing-parquet-tools

【解决方案1】：

Parquet 是一种二进制文件格式，不能在 NiFi 内容查看器中查看。在较新版本的 NiFi 中，您拥有 ParquetWriter，无法与 ConvertRecord 一起使用来进行转换并准备好转换后的 Avro 数据以供上传。

【讨论】：