Nifi 和 Avro：使用指定的 avro 模式将数据和元数据转换为 avro 文件？

Question

这与 Apache Nifi 有关。

我有一个固定的架构，我需要使用它。

AVSC 文件（架构）（仅示例）：

​

{"name": "person","type": "record","fields": [{"name": "address","type": {"type" : "record","name" : "AddressUSRecord","fields" : [{"name": "streetaddress", "type": "string"},{"name": "city", "type":"string"}]}}]}

基本上这个化学有两部分，即一个在元数据中，另一个是实际数据。

我有以 csv 格式创建的元数据和另一个 csv 格式的实际数据。

我可以使用，

GetFile-->InferAvroSchema-->ConvertCSVtoAvro

flow 将它们分别转换成 avro。

但这不会是架构中定义的格式。

我正在寻找一些流或处理器，我可以在其中提供或使用 2 个不同的 csv 作为输入并根据提供的架构转换为 avro？

Answer 1

不确定我是否足够了解您的用例，但您应该能够将 LookupRecord 与 CSVRecordLookupService 结合使用，将“实际数据”CSV 中的数据获取到已包含元数据字段的记录中。您只需指定元数据中的哪个字段（通过 RecordPath 表达式）对应于数据 ​​CSV 文件中的哪个字段。