使用kafka的双向消息系统

Question

是否有可能使用 apache kafka 开发双向消息传递系统？ 我需要从我的消费者那里订阅一个主题，并且我需要从我的消费者那里发送消息。

Answer 1

您可以选择以下两种方式之一。要么为消息键设置前缀系统，要么将内容放入消息中，让消费者避免它产生的消息。

现在要不要这样设计，就看你的消息流量了。如果您不是用事件来抨击它，那么最好考虑使用 Thrift 之类的东西来让您的消息组件进行双向通信。相对于其复杂性而言，Kafka 真正擅长的地方是当您需要生产和消费大量数据时。对你来说可能不是这样。

例如，Kafka 的一个常见用例是将其连接到 Storm、Apex 或 Samza 等服务，以对数百 GB 甚至 TB 的数据进行分布式处理。如果您的系统具有高吞吐量要求，那么该架构将是一个很好的架构，可以将其作为 Kafka 处理消息的起点。使用 Storm，如果您需要发回消息以进行重新处理，您始终可以使用 Kafka Bolt 将消息重新发布到 Kafka 中，以确保它得到完全重新处理。