apache NiFi 将 JSON 转换为 avro

Question

如何在 apache NiFi 中将 JSON 转换为 Avro？

即JSON 是使用getTwitter?

以前的版本似乎支持ConvertJSONToAvro。 对我来说，现在看来应该使用 convertRecord 处理器：

即使用面向记录的处理来使用 JSON 树阅读器读取 JSON 并将其写入 Avro。 但是在哪里/如何指定架构？特别是对于从 Twitter 获得的这种复杂模式。 NiFi 是否会以某种方式自动猜测正确的架构？

编辑

事实上，发生了一些相当明显的事情：

 ConvertRecord Failed to process StandardFlowFileRecord will route to failure: ${schema.name} did not provide appropriate Schema Name

即转换记录成功地解析了 json，但是在尝试应用 avro 编写器时它失败了。那么我怎样才能从推文中获得 avro 表示呢？

Answer 1

您应该能够推断架构并使用现代记录处理器将其自动转换为 Avro。 Abdelkrim Hadjidj has a great write up 关于它，但总结一下：

现代方法

在您在ConvertRecord 中使用的JsonPathReader 或JsonTreeReader 实现中使用Schema Inference 功能。这将允许它推断模式，然后通过schema.name 和avro.schema 属性将其传递给AvroRecordSetWriter。还有一个模式推理缓存（使用提供的 volatile 实现，除非您有其他要求）来提高性能。

旧方法

使用InferAvroSchema 处理器解析传入数据并生成 Avro 架构。

注意：由于空间限制，该处理器不再包含在 NiFi 的默认构建中，但您可以手动构建 nifi-kite-nar，然后将其部署到 $NIFI_HOME/extensions/ 目录以加载它功能。