可以为 Spring Kafka DLQ 设置较低的分区数吗？

Question

我们正在研究优化磁盘空间使用的选项。这样做时，我们正在查看 kafka 分区保留的磁盘空间。现在错误主题使用与原始主题相同数量的分区。我们并不真正需要分区错误主题，并且 kafka 为每个分区分配了大量空间。

所以问题是，是否可以使用最近引入的配置dlqProducerProperties 为 dlq 设置较低的分区数？

当我们在代码中加入一些较低的分区数时，我们遇到了一些问题，即消息无法移动到 dlq，因为目标分区不匹配。我猜原始消息的分区索引被重用以将其移动到 dlq 目标（到相同的分区索引），但它只有 1 个而不是 9 个分区。这是kafka客户端还是spring cloud stream的限制？

Answer 1

binder 当前将分区 1:1 映射到 DLQ 主题；这是为了保持秩序（对于那些关心的用户）。

在 Spring for Apache Kafka 项目（由 binder 使用）中，the DeadLetterPublishingRecoverer has a configurable destination resolver 允许将死信发送到 DLQ 主题中的不同分区。

但是，活页夹当前不使用它（死信早于核心项目中的支持​​）。

请打开一个新功能GitHub issue against the binder。