kafka

在使用Kafka的过程中，消费者断掉之后，再次开始消费时，消费者会从断掉时的位置重新开始消费。 场景再现：比如昨天消费者晚上断掉了，今天上午我们会发现kafka消费的数据不是最新的，而是昨天晚上的数据，由于数据量比较多，也不会及时的消费到今天上午的数据，这个时候就需要我们对偏移量进行重置为最新的，以 »

在使用Kafka的过程中，消费者断掉之后，再次开始消费时，消费者会从断掉时的位置重新开始消费。 场景再现：比如昨天消费者晚上断掉了，今天上午我们会发现kafka消费的数据不是最新的，而是昨天晚上的数据，由于数据量比较多，也不会及时的消费到今天上午的数据，这个时候就需要我们对偏移量进行重置为最新的，以 »

目录 kafka发送消息的方式 需要引入文件 测试方法 MAC下操作指令 windows操作指令 总结 kafka发送消息的方式 package com.zl.kafkademo; import org.apache.kafka.clients.producer.Callba »

目录 消息发送过程 拦截器 消息分区 消息累加器 发送流程源码分析 生产消息的可靠性 消息发送过程 消息的发送可能会经过拦截器、序列化、分区器等过程。消息发送的主要涉及两个线程，分别为main线程和sender线程。 如图所示，主线程由 afkaProducer 创建消息，然后通 »

目录 介绍 序列化器 设置序列化和反序列化 自定义序列化 自定义反序列化 思考 拦截器 总结 介绍 本篇主要介绍kafka的拦截器和序列化器，序列化器是和数据在网络中的传输有关，数据在网络中的传输为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将字节流 »

目录 介绍 序列化器 设置序列化和反序列化 自定义序列化 自定义反序列化 思考 拦截器 总结 介绍 本篇主要介绍kafka的拦截器和序列化器，序列化器是和数据在网络中的传输有关，数据在网络中的传输为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将字节流 »

目录 介绍 负载均衡 rebalance图示 再均衡产生的条件 相关参数 Broker 端参数 consumer 端参数 分配器 总结 介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都 »

目录 介绍 负载均衡 rebalance图示 再均衡产生的条件 相关参数 Broker 端参数 consumer 端参数 分配器 总结 介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都 »

介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引起的，rebalance 也就是再均衡，顾名思义，再均衡就是再次负载均衡，下面会对再均衡进行一个详细的描述。 负载均 »

介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引起的，rebalance 也就是再均衡，顾名思义，再均衡就是再次负载均衡，下面会对再均衡进行一个详细的描述。 负载均 »

需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeem »

需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeem »

在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群，使用的镜像是 bitnami/kafka，在按照镜像文档运行容器后，发现运行在宿主机里的客户端程序无法正确的推送/消费消息，研究后发现镜像文档只适用于客户端程序和 kafka »

在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群，使用的镜像是 bitnami/kafka，在按照镜像文档运行容器后，发现运行在宿主机里的客户端程序无法正确的推送/消费消息，研究后发现镜像文档只适用于客户端程序和 kafka »

消费者读取消息。在其他基于发布与订阅的消息系统中，消费者可能被称为订阅者 或 读者。 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。消费者通过检查消息的偏移量来区分已经读取过的消息。 KafkaConsumer 的概念 消费者 & 消费者群组 消费者读取消息。在其他基 »

生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者 或 写入者。 生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者 或 写入者。 一般情况下，一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心 »

生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者 或 写入者。 生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者 或 写入者。 一般情况下，一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心 »

通过阅读本篇文字，你可以了解到 Kafka 中的概念：消息、主题、分区、消费者群组、broker 等。 介绍 Kafka Kafka 是一款基于发布与订阅的消息系统。 用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。 Kafka 使 »

通过阅读本篇文字，你可以了解到 Kafka 中的概念：消息、主题、分区、消费者群组、broker 等。 介绍 Kafka Kafka 是一款基于发布与订阅的消息系统。 用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。 Kafka 使 »

1 Broker Kafka集群包含一个或多个服务器，服务器节点称为broker。 如图，我们有2个broker，6个partition，则会均分；如果只有1个partition，那么另一个broker会闲置。 理想情况，我们希望broker数量等于partition数量，然后每个partition »