NiFi 非 Avro JSON 读取器/写入器

Question

标准的 Apache NiFi 读取器/写入器似乎只能基于 Avro 模式解析 JSON 输入。

Avro 模式对 JSON 有限制，例如它不允许以数字开头的有效 JSON 属性。

JoltTransformJSON 处理器在这里可以提供帮助（它不会对输入 JSON 的外观施加 Avro 限制），但该处理器似乎不支持批处理 FlowFiles。它也不是基于读者和作者（可能是因为这个）。

有没有办法读取任意有效的批处理 JSON 输入，例如多行形式

{"myprop":"myval","12345":"12345",...}
{"myprop":"myval2","12345":"67890",...}

并将其转换为其他 JSON 结构，例如由JSON schema 定义，例如使用JSON Patch 转换，无需编写自己的处理器？

更新

我正在使用 Apache NiFi 1.7.1

更新 2

不幸的是，@Shu 的建议确实奏效了。我得到同样的错误。 将案例简化为单个 UpdateRecord 处理器，该处理器读取具有数字属性的 JSON，并使用

写入不具有此类属性的 JSON

myprop : /data/5836c846e4b0f28d05b40202

映射。还是一样的错误:(

Answer 1

它不允许有效的以数字开头的 JSON 属性？

这个错误NiFi-4612 在 NiFi-1.5 版本中修复，我们可以使用 AvroSchemaRegistry 来定义你的架构并更改

验证字段名称

false

然后我们可以有以数字开头的 avro 模式字段名称。

更多详情请参考this链接。

有没有办法读取任意有效的批量 JSON 输入，例如多行形式？

此错误NiFi-4456 在 NiFi-1.7 中修复，如果您不使用此版本的 NiFi，那么我们可以通过使用解决方法来创建带有 ,（逗号分隔符）的 json 消息数组。

流程：

1.SplitText //split the flowfile with 1 line count
2.MergeRecord //merge the flowfiles into one
3.ConvertRecord

有关此特定问题的更多详细信息，请参阅this 链接（我已经解释了流程）。