【问题标题】:Which Messaging System to be used? [closed]使用哪个消息系统? [关闭]
【发布时间】:2021-09-01 21:44:11
【问题描述】:
我想将数据从一个数据库系统传输到任何其他数据库系统。哪种消息传递系统(Kafka、ActiveMQ、RabbitMQ ......同样)会更好地实现这一目标,并具有更高的吞吐量和性能。
【问题讨论】:
标签:
apache-kafka
rabbitmq
activemq
【解决方案1】:
我猜这类问题的答案是“视情况而定”
您可能可以在 Internet 上找到很多关于这些消息代理之间比较的信息,
据我所知,从我们的经验和知识来看,Kafka 及其生态系统工具(如 kafka connect)介绍了您所要求的行为,其中源连接器和接收器连接器在中间使用 kafka,
Kafka connect 是一个框架,允许添加称为连接器的插件
接收器连接器 - 从 kafka 读取数据并将该数据发送到目标系统
源连接器 - 从源存储读取并写入 kafka
使用kafka connect是“无代码”,调用rest api来设置连接器的配置。
Kafka 是分布式系统,支持非常高的吞吐量和低延迟。它支持近乎实时的数据流。
Kafka 被全球最大的公司高度采用。
有许多工具和供应商支持您的用例,它们的价格和支持各不相同,这取决于您需要从哪些来源获取数据以及您希望写入的目标是 cdc/近乎实时还是“批量”复制