【问题标题】:How can I view the failed messages in Ksql stream?如何查看 Ksql 流中的失败消息?
【发布时间】:2021-08-26 23:45:29
【问题描述】:

当我在我创建的流上使用 ksqlDB 中的DESCRIBE EXTENDED 时,我得到以下结果:

Local runtime statistics:
consumer-messages-per-sec: 0 | consumer-total-bytes: 101768 | 
consumer-total-messages: 98 | last-message: 2021-08-18T15:27:28.978Z 
| consumer-failed-messages: 1 |consumer-failed-messages-per-sec: 0 | 
   last-failed: 2021-08-18T15:27:29.405Z

失败消息 (consumer-failed-messages: 1) 是我有意发送到主题的消息,但它失败了,因为我向特定字段发送了与架构中定义的数据类型不同的数据类型。

现在我想查看失败的消息(获取发送的实际 json) 有可能吗?

目标是建立一个未能通过处理阶段的消息的监视器。

谢谢, 露丝。

【问题讨论】:

    标签: apache-kafka confluent-platform confluent-schema-registry ksqldb


    【解决方案1】:

    反序列化消息记录到 ksqlDB 处理日志:https://docs.ksqldb.io/en/latest/reference/processing-log/

    如果需要,您可以将ksql.logging.processing.rows.include 设置为true,以便在处理日志消息中包含实际消息本身(编码为base64)以防止反序列化错误。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-01-21
      • 2017-10-29
      • 2012-04-23
      • 2014-01-22
      • 2021-04-20
      • 2018-02-20
      • 1970-01-01
      相关资源
      最近更新 更多