Akka Cluster 的分片数量是否应该始终等于 Kafka 分区的数量？

Question

我目前正在使用由一个 5 节点 Akka 集群组成的 Akka 项目。当我们第一次设置项目时，我们决定将分片数设置为 50，主要是因为以下链接中的声明。

Akka Cluster Sharding

根据经验，分片数应该比计划的最大集群节点数大十倍

现在我们正在将我们的消息传递解决方案更改为 Kafka，如果我在 akka 流 kafka 上正确阅读了文档，他们建议采用与分区数量相同数量的分片。

我们不想在我们的主题中有 50 个分区，所以我可能会选择 5 个分区（等于 Akka 集群节点），这意味着将 Akka 集群中的分片数量从 50 个减少到 5 个。

这是个坏主意吗？分片这么少会对 Akka 集群产生负面影响吗？

谢谢解答...

Answer 1

简短的回答是，该指南仅适用于您使用该链接中描述的可选外部分片分配器的情况。如果您使用的是“正常”分片分配器，则适用正常的集群分片建议。

无论是否使用 Kafka，使用 Cluster Sharding 的以下几点都是正确的：

• 分片数不得少于您要在其上托管分片实体的集群中的节点数（否则，集群的某些节点将未被使用）
• 一般来说，您拥有的分片越多，工作负载的分布就越均匀（由于大数定律），但每个分片确实会增加一些协调开销（即极端分片数量的收益递减）

当消息序列化或其他网络瓶颈导致性能大幅下降时，可以使用集群分片的 Kafka 外部分片分配器。从 Kafka 消费时，您可以使用“普通”分片分配器（无论分片数量如何），甚至可以在它们之间切换（就像任何涉及更改分片数量的事情一样，您必须确保在任何时候都不做任何事情集群中的两个节点在分片数量或确定分片键的方式上存在分歧：这意味着此类更改需要重新启动整个集群）以评估哪个更适合您的需求。

我倾向于不使用 Kafka 外部分片分配器：对我来说，我的处理可扩展性基本上与 Kafka 分区计数分离（如果多个服务从同一个主题消费，这一点尤其重要）。此外，如果负责处理的参与者正在接收从多个主题提取的消息，那么外部分片分配器甚至可能不会带来太多好处。

根据我的经验，很多人都忘记了性能和可扩展性不是一回事：很多时候，为提高性能而进行的更改会限制可扩展性，而为提高可扩展性而进行的更改会导致性能损失。外部分片分配器是一个很好的例子，可以提高性能，但限制了可扩展性。