用于实时交易平台的 kafka 每分钟处理数百万美元的交易？

Question

有熟悉Kafka和银行实时交易预订功能的朋友吗？您能否推荐一个每周处理价值数十亿美元的金融交易的交易系统的 kafka，以实现 24/7 正常运行时间、高耐用性、每秒 10k msg、多区域、无限数据保留处理（事实来源）？

Answer 1

众所周知，许多银行和金融服务机构都在使用 Kafka，例如 GS。是其中之一

24/7 正常运行时间是什么意思？如果您的意思是 24/7 可用性，是的。与许多其他分布式系统一样，Kafka 提供了复制来实现这一点，而且只要小心，它甚至可以承受整个数据中心的停机时间。

据我所知，无限数据保留不可配置，但您可以将 log.retention.hours 设置为一个非常高的数字。但消息代理不一定是最好的事实来源。

您想通过密钥随机访问您的数据吗？卡夫卡是一个糟糕的选择。您是否有复杂的范围查询？相同的。但是您仍然可以使用 Kafka 作为主数据存储，并使用缓存或索引 KV 存储作为辅助存储。所以这真的取决于你的用例、查询模式、你将如何按需重放数据等。

您是否要使用 Kafka 作为数据源应该根据您的整体架构来决定，而不是相反。