kafka

介绍 消费组使kafka中很重的概念，只有弄清楚消费组的概念，才能在项目中把它运用好，在kafka中，每个消费者都对应一个消费组，消费者可以是一个线程，一个进程，一个服务实例，如果kafka想要消费消息，那么需要指定消费那个topic的消息以及自己的消费组id(groupId)，也可以直接指定那个主 ... »

阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要：Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。本文介 ... »

历史原因，公司存在多个 MQ 同时使用的问题，我们中间件团队在去年下半年开始支持对 Kafka 和 Rabbit 能力的进行封装，初步能够完全支撑业务团队使用。 鉴于在之前已经基本完全实施 Kafka 管控平台、以及 Kafka 集群迁移管控，我们基本可以认为团队对于 Kafka 的把控能力初具规模 ... »

目录 前言 一、总体流程 二、源码解读 1、postProcessAfterInitialization 1.1、processKafkaListener 1.2、processListener 1.3、registerEndpoint 1.4、startIfNecessary 2、afte »

目录 简介 解读 源码解读 使用案例 ConsumerRecord 类消费 批量消费 批量消费实现步骤： 监听 Topic 中指定的分区 注解方式获取消息头及消息体 使用 Ack 机制确认消费 解决重复消费 简介 Kafka 目前主要作为一个分布式的发布订阅式的消息系统使用，也 »

目录 说明 @KafkaListener详解 id 监听器的id groupId 消费组名 errorHandler 异常处理 containerFactory 监听器工厂 properties 配置其他属性 @KafkaListener使用 设置入参验证器 扩展：Spring for »

目录 一.使用库说明 二.Kafka Producer发送消息 三.Kafka Consumer消费消息 一.使用库说明 Golang中连接kafka可以使用第三方库：github.com/Shopify/sarama 二.Kafka Producer发送消息 package mai »

本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。 作者：vivo 互联网存储技术团队-Luo Mingbo、中间件团队- Liu Runyun 本文根据“2022 vivo开发者大会"现场演讲内容整理而成。 本文主要介绍超大数据规模场景下分布式消息中间件在vi »

作者：痴者工良 个人网站：https://www.whuanle.cn 博客园：https://www.cnblogs.com/whuanle/ 本教程地址：https://kafka.whuanle.cn/ 本教程是关于 Kafka 知识的教程，从 C# 中实践编写 Kafka 程序，一边写代码一 ... »

目录 引出问题 demo设计 环境搭建 flink程序代码 项目演示 告警系统架构 引出问题 项目使用告警系统的逻辑是将实时数据保存到本地数据库再使用定时任务做判断，然后产生告警数据。这种方式存在告警的延时实在是太高了。数据从产生到保存，从保存到判断都会存在时间差，按照保存数据定时5分钟一 »

基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topoc 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过不同的 topic 保存各种版本经过过滤、转换后的同类 ev ... »

目录 前言 准备工作 开发阶段 首先需要引入的包POM文件 主要代码 运行效果 总结 前言 这周学习下Flink相关的知识，学习到一个读写Kafka消息的示例， 自己动手实践了一下，别人示例使用的是普通的Java Main方法，没有用到spring boot. 我们在实际工作中会使用spr »

MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 MQ系列8：数据存储，消息队列的高可用保障 M ... »

服务器端 K3S 上部署 Kafka Server Kafka 安装 ?️ Quote: charts/bitnami/kafka at master · bitnami/charts (github.com) 输入如下命令添加 Helm 仓库： > helm repo add tkemarket ... »

Zookeeper 和 KRaft 这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。 动机 目前，Kafka 使用 Zookeeper 保存与分区（patitions）、brokers 相关的元数据，以及选举 Kafka ... »

目录 Kafka动态调整topic分区partition kafka-topics.sh工具介绍 更新或者修改topic 总结 Kafka动态调整topic分区partition 在使用kafka时，初期创建topic时所指定的topic属性有时会需要修改，如何动态修改kafka t »

目录 一、前言 二、需求分析 三、测试运行 3.1 启动消费者服务 3.2 新建topic 3.3 等待topic被分配到消费者 3.4 发送第一条消息 3.5 注意事项 总结 一、前言 在Java中使用kafka，方式很多，例如： 直接使用kafka-clients这类原生的A »

目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ »

目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ »

目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ »