【问题标题】:Storm- Routing bolt to get schema from the kafka spoutStorm-Routing bolt 从 kafka spout 获取模式
【发布时间】:2016-04-17 20:26:42
【问题描述】:

Storm - Conditionally consuming stream from kafka spout?

当我尝试使用 declareOutputFields() 输出数据时,如何获取拆分螺栓内的数据架构。

字段架构 = 新字段(?)

如何在不重新解析所有数据并重新创建它的情况下获取此螺栓内数据中所有字段的架构?

【问题讨论】:

    标签: apache-kafka apache-storm


    【解决方案1】:

    您需要事先了解架构,即在处理第一个元组之前。在第一次调用execute()之前,在部署期间调用方法declareOutputFields()

    Storm 无法处理可变架构。如果您有未知结构的 JSON 数据,您可以声明 new Fields("json") 并将整个 JSON 对象放入单个字段中。

    【讨论】:

      猜你喜欢
      • 2015-04-22
      • 2019-02-18
      • 1970-01-01
      • 1970-01-01
      • 2013-06-24
      • 2015-03-13
      • 2017-08-24
      • 2020-05-01
      • 1970-01-01
      相关资源
      最近更新 更多