升级到 1.0 后 Kafka 内部主题的推荐设置答案

【问题标题】：Recommended settings for Kafka Internal Topics after upgrade to 1.0升级到 1.0 后 Kafka 内部主题的推荐设置
【发布时间】：2018-05-09 01:03:09
【问题描述】：

我正在从 Kafka 0.10 迁移到最新的 1.0 。我没有在 Kafka 0.10 中为这些字段设置任何值。有人可以让我知道server.properties 中以下内部主题设置的 3 节点代理集群和单节点代理集群的推荐设置是什么 -

offsets.topic.replication.factor
transaction.state.log.replication.factor
transaction.state.log.min.isr

如果在单节点 kafka 代理中升级到 1.0 后我没有更改此值，它将采用默认值 3 。那么在这种情况下会有什么行为呢？

【问题讨论】：

你好，tuk 我也在使用 kafka 1.0，它与以前的版本有很大不同，现在一切都已弃用，并且有不同的方法。如果我找到确切的答案，让我回复你

标签： apache-kafka

【解决方案1】：

对于具有 3 个或更多代理的集群，这些设置的 default values 适用于大多数用例：
- offsets.topic.replication.factor=3
- transaction.state.log.replication.factor=3
- transaction.state.log.min.isr=2
这些默认值提供了强大的可用性和持久性保证，因为数据将在 3 个代理之间复制。它们还允许有 1 个代理关闭，并且仍然能够在有交易和没有交易的情况下生产/消费。
对于只有一个节点的集群，你别无选择，这些设置不能高于集群中的代理数量，所以必须全部设置为 1。

【讨论】：

这些在升级过程中应该如何表现？在 0.10 中我没有设置这些值。那么它是否将 3 作为默认值。如果是，那么它在 0.10.0 中如何在单个代理集群中正常工作？
事务仅在 0.11 中添加，因此这两个参数在 0.10 中甚至不存在

【解决方案2】：

所有三个参数都强制执行集群高可用性以及事务和主题复制的冗余。

offsets.topic.replication.factor 参数也在 0.10.X 中。对于 3 节点集群，我建议保留默认值，但对于单节点（我想您将其用于开发和测试目的），这必须最小化为 1。

对于 transaction.log 参数，它们在 2 个版本的 Kafka 中并不完全相同。 See this。但是概念是一样的……如果要在单节点集群上测试和开发，请尽量减少默认值。否则在 3 节点集群上，取决于连接选择的流量和消费者/生产者的数量。事务日志显然会占用大量空间，与集群上的请求数（添加消息或读取消息）成正比。

See this。在 0.10X 的 kafka 服务器上创建主题时有这个参数可选，在新版本中，可能是something is changed for the 0.11 在 1.0X 的升级说明中：“config/consumer.properties 文件更新为使用新的消费者配置属性。”

【讨论】：

这些在升级过程中应该如何表现？在 0.10 中我没有设置这些值。那么它是否将 3 作为默认值。如果是，那么它在 0.10.0 中如何在单个代理集群中正常工作？
见this。在 0.10X 的 kafka 服务器上创建主题时有这个参数可选，在新版本中，可能是 something is changed for the 0.11 在 1.0X 的升级说明中：“config/consumer.properties 文件更新为使用新的消费者配置属性。”
你能用你最后的评论更新答案，以便我接受吗？