Kafka-streams 破坏了消息处理语义

Question

我注意到 Kafka 记录有一个 CRC 字段。如果日志文件中的记录损坏（例如，消息中间的一个位被翻转），我希望在以下情况下在流应用程序中看到什么：

• 主题被复制
• 主题未复制

由于我们使用的是 Avro，我可以想象会发生以下情况之一：

• 底层基础架构检测到 CRC 错误并从另一个代理获取它
• DeserializationExceptionHandler 启动
• 根据策略发生其他一些错误，拓扑崩溃或消息被跳过

Answer 1

对于 CRC 错误，当您的 Streams 应用程序尝试对记录进行反序列化时，应该会引发异常。因此，DeserializationExceptionHandler 启动了。

在 Kafka 中，所有读/写都由分区领导者处理，追随者代理仅在后台被动复制数据，不提供来自客户端的任何读/写。