卡夫卡内存要求

Question

我是kafka的初学者

我们正在寻找我们的 kafka 集群（一个 5 节点集群）的大小，以处理 17,000 个事件/秒，每个事件的大小为 600 字节。 我们计划复制 3 个并将事件保留一周

我阅读了 kafka 文档页面

    assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30.

那么这篇文章到底写了什么？如果它是每秒的 MB 数 - 我正在查看 9960MB/秒

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )

那么 292GB 代表一个节点或整个集群（5 个节点）的内存需求是多少

我非常感谢您对内存和磁盘大小的一些见解。

问候 VB

Answer 1

如果您的消息大小为 600 字节和 17k msg/s，那么您的吞吐量将是 ~10MB/s [17000*600/(1024*1024)]。如果您要对主题进行分区并使用 5 个代理，其中 3 个副本将是 10/5*3 = 6MB/s 每个代理，您需要进行缓冲，这在任何普通硬件上都不是问题。缓冲 30 秒意味着 180MB 内存。

如果您的意思是消息大小为 600kB，那么您需要考虑添加大量非常快速的存储以达到 6GB/s，实际上最好增加集群的节点数.