kafka

使用jmx exporter采集kafka指标示例详解

目录 预置条件 使用JMX exporter暴露指标 kafka集群启用监控 采集producer/consumer的指标 预置条件 安装kafka、prometheus 使用JMX exporter暴露指标 下载jmx exporter以及配置文件。Jmx exporter中包 »

使用jmx exporter采集kafka指标

预置条件 安装kafka、prometheus 使用JMX exporter暴露指标 下载jmx exporter以及配置文件。Jmx exporter中包含了kafka各个组件的指标,如server metrics、producer metrics、consumer metrics等,但这些指标并 ... »

线上kafka消息堆积,consumer掉线,怎么办?

线上kafka消息堆积,所有consumer全部掉线,到底怎么回事? 最近处理了一次线上故障,具体故障表现就是kafka某个topic消息堆积,这个topic的相关consumer全部掉线。 整体排查过程和事后的复盘都很有意思,并且结合本次故障,对kafka使用的最佳实践有了更深刻的理解。 好了,一 ... »

kafka添加安全验证配置方式

目录 服务端配置  1. config 目录添加kafka_server_jaas.conf 配置文件 2. kafka-run-class.sh 添加 3. config/server.properties 客户端接入改造 完整配置示例 综合考虑性能影响、管理成本、安全等级要求,接入便 »

使用Docker搭建Apache Kafka环境的详细过程

目录 安装单个节点 docker-compose.yml 配置 安装集群环境 docker-compose.yml配置 启动kafka集群 总结 Docker是最受欢迎的容器引擎之一,软件行业用于创建、打包、部署应用。本教程学习如何使用Docker搭建Apache Kafka。 安装 »

Linux 下搭建 Kafka 环境

Linux 下搭建 Kafka 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Kafka 环境 CSDN:Linux 下搭建 Kafka 环境 环境要求 操作系统:CentOS 7 下载地址 安装说明 Kafka 版本:2.11-2.1.0 下载地址 注:这个版本的 Kafka 需要 ... »

Kafka详解

Kafka介绍 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Stor ... »

kafka详解(二)--kafka为什么快

Kafka 有多快呢?我们可以使用 OpenMessaging Benchmark Framework 测试框架方便地对 RocketMQ、Pulsar、Kafka、RabbitMQ 等消息系统进行对比测试,因为暂时没有测试条件(后续补上),我直接用这篇文章的测试结果(Benchmarking Ka... ... »

ZhangZiSheng001 Kafka

CentOS 7.9 安装 kafka_2.13

一、CentOS 7.9 安装 kafka_2.13 地址 https://kafka.apache.org/downloads.html 二、安装准备 1 安装JDK 在安装kafka之前必须先安装JDK和zookeeper,如何安装JDK,可以查看:CentOS 7.9 安装 jdk-8u333 ... »

huaxiayuyi CentOS

我的 Kafka 旅程 - Consumer

Kafka Consumer,消费者消费流程,配置介绍,offset的使用,消费者组,消费者组内再平衡,再平衡策略,提高消费者端吞吐量。 ... »

Sol-wang

SpringBoot如何获取Kafka的Topic列表

目录 写在前面    命令行模式 代码模式 总结 写在前面    众所周知,kafka是现代流行的消息队列,它使用经典的消息订阅发布模式实现消息的流转,大部分代码结合kafka使用都是使用它的生产者和消费者来实现消息的传递,那么对于kafka的主题的管理怎么使用代码实现呢,这是今天要讲的主 »

Docker搭建kafka及监控

环境安装 docker安装 yum update yum install docker # 启动 systemctl start docker # 加入开机启动 systemctl enable docker # 检查是否启动 docker version # 测试一下 docker run hel ... »

我的 Kafka 旅程 - 文件存储机制

Kafka Partition中的文件存储机制,数据写入方式,数据查询方式,高效读写数据的原因,稀疏索引,数据顺序写入磁盘,零拷贝技术,数据文件的清理方式及配置。 ... »

Sol-wang

SpringBoot集成Kafka 配置工具类的详细代码

目录 1、单播模式,只有一个消费者组 2、广播模式,多个消费者组 spring-kafka 是基于 java版的 kafka client与spring的集成,提供了 KafkaTemplate,封装了各种方法,方便操作,它封装了apache的kafka-client,不需要再导入client »

SpringBoot整合Kafka工具类的详细代码

目录 kafka是什么? 应用场景 kafka是什么? Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代 »

我的 Kafka 旅程 - broker

kafka broker,数据分区,kafka broker 应答机制,leader与副本数据同步,数据不重复,数据防丢失,数据按顺序,数据幂等性,partition 分区自动平衡,broker节点管理。 ... »

Sol-wang

我的 Kafka 旅程 - Producer

Kafka Producer生产者端,Producer生产者工作原理,Producer中的内存队列,Producer Send线程数据分区策略,Sender线程发送机制,broker应答机制。 ... »

Sol-wang

Kafka Eagle 3.0.1功能预览

1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率。下面,我们就来看看3 ... »