【发布时间】:2016-04-17 20:26:42
【问题描述】:
Storm - Conditionally consuming stream from kafka spout?
当我尝试使用 declareOutputFields() 输出数据时,如何获取拆分螺栓内的数据架构。
字段架构 = 新字段(?)
如何在不重新解析所有数据并重新创建它的情况下获取此螺栓内数据中所有字段的架构?
【问题讨论】:
Storm - Conditionally consuming stream from kafka spout?
当我尝试使用 declareOutputFields() 输出数据时,如何获取拆分螺栓内的数据架构。
字段架构 = 新字段(?)
如何在不重新解析所有数据并重新创建它的情况下获取此螺栓内数据中所有字段的架构?
【问题讨论】:
您需要事先了解架构,即在处理第一个元组之前。在第一次调用execute()之前,在部署期间调用方法declareOutputFields()。
Storm 无法处理可变架构。如果您有未知结构的 JSON 数据,您可以声明 new Fields("json") 并将整个 JSON 对象放入单个字段中。
【讨论】: