【问题标题】:Kafka - What does it mean by cluster-wideKafka - 集群范围是什么意思
【发布时间】:2020-06-12 05:36:29
【问题描述】:

我有 3 个经纪人卡夫卡设置。我正在更新“min.insync.replicas”属性,我查看了文档,

min.insync.replicas

更新模式:集群范围

  1. “集群范围”在此处指定什么 - 是否可以在一个代理中更新该属性,或者是否需要在所有代理设置文件 (server.properties) 中更新该属性
  2. 如何使用 kafka-config 更新“集群范围”属性 -

在集群级别可配置的所有配置也可能是 在每个代理级别配置(例如,用于测试)。如果一个配置值 在不同的层次上定义,下面的优先顺序是 used:存储在 ZooKeeper Dynamic 中的每个代理的动态配置 存储在 ZooKeeper 中的集群范围的默认配置静态代理配置 从 server.properties Kafka 默认,请参阅代理配置

从 Kafka 1.1 版开始,一些代理配置可以是 在不重新启动代理的情况下更新。查看动态更新模式 Broker Configs 中的列,用于每个代理配置的更新模式。 只读:需要重新启动代理才能更新每个代理:可能是 为集群范围内的每个代理动态更新:可能会更新 动态地作为集群范围的默认值。也可以更新为 每个经纪人的测试价值。

【问题讨论】:

    标签: apache-kafka confluent-platform


    【解决方案1】:

    min.insync.replicas 表示编号。需要同步的主题分区的副本数。

    “集群范围”在此处指定什么 - 如果我更新 一个经纪人的财产还是需要在所有经纪人中更新 设置文件(server.properties)

    集群范围的配置应该适用于所有代理。因此,更新一次应该反映其他代理,否则 cluster-wide 配置和 per-broker 配置之间可能没有区别。


    配置 min.insync.replicas 可在主题级别和集群级别进行配置。

    当我们在主题级别设置它时,它仅适用于该主题,无论主题分区在什么代理中。

    当我们在代理级别设置它时,它将是所有主题的默认值,除非另有说明。


    如何使用 kafka-config 更新“集群范围”属性?

    如果你想设置一个主题,这里的配置实体类型将是topics

    如果要在代理级别设置,则为brokers


    这是完整列表(截至 2.3.1)

    --add-config <String>                  Key Value pairs of configs to add.     
                                             Square brackets can be used to group 
                                             values which contain commas: 'k1=v1, 
                                             k2=[v1,v2,v2],k3=v3'. The following  
                                             is a list of valid configurations:   
                                             For entity-type 'topics':            
                                            cleanup.policy                        
                                            compression.type                      
                                            confluent.tier.enable                 
                                            confluent.tier.local.hotset.bytes     
                                            confluent.tier.local.hotset.ms        
                                            delete.retention.ms                   
                                            file.delete.delay.ms                  
                                            flush.messages                        
                                            flush.ms                              
                                            follower.replication.throttled.       
                                             replicas                             
                                            index.interval.bytes                  
                                            leader.replication.throttled.replicas 
                                            max.compaction.lag.ms                 
                                            max.message.bytes                     
                                            message.downconversion.enable         
                                            message.format.version                
                                            message.timestamp.difference.max.ms   
                                            message.timestamp.type                
                                            min.cleanable.dirty.ratio             
                                            min.compaction.lag.ms                 
                                            min.insync.replicas                   
                                            preallocate                           
                                            retention.bytes                       
                                            retention.ms                          
                                            segment.bytes                         
                                            segment.index.bytes                   
                                            segment.jitter.ms                     
                                            segment.ms                            
                                            unclean.leader.election.enable        
                                           For entity-type 'brokers':             
                                            log.message.timestamp.type            
                                            ssl.client.auth                       
                                            log.retention.ms                      
                                            sasl.login.refresh.window.jitter      
                                            sasl.kerberos.ticket.renew.window.    
                                             factor                               
                                            log.preallocate                       
                                            log.index.size.max.bytes              
                                            sasl.login.refresh.window.factor      
                                            ssl.truststore.type                   
                                            ssl.keymanager.algorithm              
                                            log.cleaner.io.buffer.load.factor     
                                            sasl.login.refresh.min.period.seconds 
                                            ssl.key.password                      
                                            background.threads                    
                                            log.retention.bytes                   
                                            ssl.trustmanager.algorithm            
                                            log.segment.bytes                     
                                            max.connections.per.ip.overrides      
                                            log.cleaner.delete.retention.ms       
                                            log.segment.delete.delay.ms           
                                            min.insync.replicas                   
                                            ssl.keystore.location                 
                                            ssl.cipher.suites                     
                                            log.roll.jitter.ms                    
                                            log.cleaner.backoff.ms                
                                            sasl.jaas.config                      
                                            principal.builder.class               
                                            log.flush.interval.ms                 
                                            confluent.tier.enable                 
                                            log.cleaner.max.compaction.lag.ms     
                                            max.connections                       
                                            log.cleaner.dedupe.buffer.size        
                                            log.flush.interval.messages           
                                            advertised.listeners                  
                                            num.io.threads                        
                                            listener.security.protocol.map        
                                            log.message.downconversion.enable     
                                            sasl.enabled.mechanisms               
                                            sasl.login.refresh.buffer.seconds     
                                            ssl.truststore.password               
                                            listeners                             
                                            metric.reporters                      
                                            ssl.protocol                          
                                            sasl.kerberos.ticket.renew.jitter     
                                            ssl.keystore.password                 
                                            sasl.mechanism.inter.broker.protocol  
                                            log.cleanup.policy                    
                                            sasl.kerberos.principal.to.local.rules
                                            sasl.kerberos.min.time.before.relogin 
                                            num.recovery.threads.per.data.dir     
                                            log.cleaner.io.max.bytes.per.second   
                                            log.roll.ms                           
                                            confluent.tier.local.hotset.ms        
                                            ssl.endpoint.identification.algorithm 
                                            unclean.leader.election.enable        
                                            message.max.bytes                     
                                            log.cleaner.threads                   
                                            log.cleaner.io.buffer.size            
                                            max.connections.per.ip                
                                            sasl.kerberos.service.name            
                                            ssl.provider                          
                                            follower.replication.throttled.rate   
                                            log.index.interval.bytes              
                                            log.cleaner.min.compaction.lag.ms     
                                            log.message.timestamp.difference.max. 
                                             ms                                   
                                            ssl.enabled.protocols                 
                                            confluent.tier.local.hotset.bytes     
                                            log.cleaner.min.cleanable.ratio       
                                            replica.alter.log.dirs.io.max.bytes.  
                                             per.second                           
                                            ssl.keystore.type                     
                                            ssl.secure.random.implementation      
                                            ssl.truststore.location               
                                            sasl.kerberos.kinit.cmd               
                                            leader.replication.throttled.rate     
                                            num.network.threads                   
                                            compression.type                      
                                            num.replica.fetchers                  
                                           For entity-type 'users':               
                                            request_percentage                    
                                            producer_byte_rate                    
                                            SCRAM-SHA-256                         
                                            SCRAM-SHA-512                         
                                            consumer_byte_rate                    
                                           For entity-type 'clients':             
                                            request_percentage                    
                                            producer_byte_rate                    
                                            consumer_byte_rate                    
                                           Entity types 'users' and 'clients' may 
                                             be specified together to update      
                                             config for clients of a specific     
                                             user.                                
    

    动态集群范围的默认配置存储在 ZooKeeper (Reference) 中,因此适用于所有代理。

    【讨论】:

    • 当您将其称为主题级别配置时,我怀疑它不是主题级别配置。根据文档,在代理配置下提到。
    • 答案中可以看到链接
    • 哪里提到是主题级别的配置
    • 它被列在标题为主题配置的页面中的事实本身就说明了这一点。
    • 你所说的代理级别配置,可能是所有主题的默认值
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-01-10
    • 2019-04-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多