【问题标题】:Kafka Resiliency (Clustering) setup on single and multiple machines在单台和多台机器上设置 Kafka 弹性(集群)
【发布时间】:2017-05-09 04:18:41
【问题描述】:

我在一台机器上设置了 1 个 Zookeeper 和 3 个 Kafka Broker(用于冗余)。 我想知道在单台机器和网络中的多台机器上设置 Kafka 的最佳实践是什么。 例如如果我在一台机器上设置了多少个动物园管理员、代理和分区,我应该设置多少。 或者 如果我在多台机器上设置(N 台机器),那么我应该设置多少个 zookeeper、brokers 和 partition。

【问题讨论】:

    标签: apache-kafka apache-zookeeper failover resiliency


    【解决方案1】:

    由于 机器 是失败的主要原因,因此在同一台机器上运行副本可以获得零。

    它们都会同时失败。

    【讨论】:

    • 主题分区的规则和最佳实践是什么...单个分区好还是在多个代理中有 1、2、3 等分区?
    • 在单个主机上,拥有多个代理等您一无所获。
    • 我知道;我的问题是关于主题分区而不是单个主机上的多个代理......因为我知道主题分区可以帮助消费者并行工作并提高吞吐量。我的问题是我们应该如何定义分区的数量以及这样做的规则是什么。
    • 当我进行更多调查时,建议当我们有 N 个消费者时,最好也有 N 个分区以具有并行性。但是不建议使用 2 个分区,因为这可能会导致消费者饥饿,并且消息只发送到一个分区,而另一个分区为空....我不确定为什么在有 2 个分区时会发生这种情况....我进行了更多调查并发现了一些与 Kafka Partitioner 机制和底层哈希机制相关,可能会发生冲突。所以我不确定有 2 个分区而不是 1 个或 3 个分区真的很糟糕!...
    猜你喜欢
    • 1970-01-01
    • 2015-04-16
    • 1970-01-01
    • 1970-01-01
    • 2016-11-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多