【问题标题】:Hosting an API and pushing Json data to S3 while converting it to Avro托管 API 并将 Json 数据推送到 S3,同时将其转换为 Avro
【发布时间】:2020-08-28 06:13:35
【问题描述】:
我想使用 HandleHTTP 处理器在 Nifi 中托管一个 API。我想传递一些虚拟的 json 数据。我想将 JSON 数据转换为 avro,然后将其推送到 S3 存储桶。
当 json 数据从 HandleHTTPResponse 转到 ConvertRecord(正在转换 json -> Avro)时,我收到以下错误,因此数据进入此故障管道。
谁能帮帮我。
【问题讨论】:
标签:
json
amazon-s3
apache-nifi
avro
【解决方案1】:
这意味着在 ConvertRecord 中,您有一个配置了“架构名称”的“架构访问策略”的记录读取器,并且您将“架构名称”属性设置为默认值“${schema.name}”,但是您的流文件没有 schema.name 作为属性。
您可以将“架构名称”更改为您的架构名称的硬编码值,如果您知道它将始终相同,或者您可以将 schema.name 作为请求的标头发送到 HandleHttpRequest 哪个然后会将 schema.name 作为属性。