NiFi：无法将传入的流文件读取为 Avro 文件

Question

我刚开始使用 NiFi 1.4。

我正在尝试通过 kafka 将管道分隔的消息发送到 Hive。所以我正在使用 ConsumeKafkaRecord_0_10 和 PutHivStreaming 处理器。使用 Kafka 阅读器将成功的数据发送到 PutHiveStreaming。

使用 Kafka 阅读器以 avro 格式写入数据，但 PutHiveStreaming 给出错误

无法将传入的流文件作为 Avro 文件读取：java.io.IOException: Not a data file。”

Answer 1

PutHiveStreaming 只能读取 Avro 数据文件，因此您必须确保 ConsumeKafkaRecord 使用的写入器是 AvroRecordSetWriter，其 Schema Write Strategy 设置为 Embedded Schema。

如果架构没有嵌入，那么当它到达 Hive 处理器时，它就不是有效的 Avro 数据文件。