一.基础组件
1.broker:kafka节点。
2.consumer:服务消费者
3.producer:服务生产者
4.offset:唯一标识一条记录
5.partition:kafka的消息队列
6.topic:消息的类别
7.group id:消费者的分组id(一个topic会分发给多个订阅的分组)
8.zookeeper:分布式协调,主要协调broker、consumer。

系统图:
kafka系列1 初识kafka

消息发送过程
producer通过负载均衡推送消息到broker,broker将消息保存到partition,partition可以有多个,consumer定时从broker的partition种poll消息,consumer可以多线程处理消息。producer可以设置ack应答。

几个重要的参数:
session.timeout.ms 消费者处理的超时时间
max.poll.records 一次拉去的记录数
enable.auto.commit 设置是否自动提交

相关文章:

  • 2021-08-22
  • 2021-09-30
  • 2021-05-05
  • 2021-11-01
  • 2021-05-01
  • 2021-08-31
  • 2022-01-07
  • 2021-05-09
猜你喜欢
  • 2021-04-18
  • 2021-12-31
  • 2021-11-17
  • 2021-07-14
  • 2021-10-02
  • 2021-04-28
  • 2021-10-11
相关资源
相似解决方案