kafka

使用 docker 部署 kafka

在很多时候我们需要使用到消息队列, 其中 kafka 是一个非常优秀的消息队列, 在我们平时开发中也经常会用到, 但是在开发环境中部署 kafka 是一个非常麻烦的事情 在 kafka 官网上, 有一个详细的部署文档, 需要的小伙伴可以参考这个文档 https://kafka.apache.org/ »

twotigers

kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境

原创/朱季谦 最近在阅读Kafka的源码,想可以在阅读过程当中,在代码写一些注释,便决定将源码部署到本地运行。 日常开发过程中,用得比较多一个版本是Kafka2.7版本,故而在MacBook Pro笔记本上用这个版本的源码进行搭建,进行Kafka源码的阅读学习。在搭建的过程当中,遇到不少坑,顺便记录 »

Kafka干货之「零拷贝」

一、背景 周所周知,Kafka是一个非常成熟的消息产品,开源社区也已经经历了多年的不断迭代,特性列表更是能装下好几马车,比如:幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream »

xijiu

Kafka核心逻辑介绍

Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数 »

Jcloud

扫盲Kafka?看这一篇就够了!

解耦、削峰:传统的方式上游发送数据下游需要实时接收,如果上游在某些业务场景:例如上午十点会流量激增至顶峰,那么下游资源可能会扛不住压力。但如果使用消息队列,就可以将消息暂存在消息管道中,下游可以按照自己的速度逐步处理; kafka的使用场景 为什么要使用 Kafka 消息队列? 解耦、削 »

jingdongkeji

Kafka集群调优+能力探底

一、前言 我们需要对4个规格的kafka能力进行探底,即其可以承载的最大吞吐;4个规格对应的单节点的配置如下: 标准版: 2C4G 铂金版: 4C8G 专业版: 8C16G 企业版: 16C32G 另外,一般来讲,在同配置下,kafka的读性能是要优于写性能的,写操作时,数据要从网卡拷贝至堆内存 »

xijiu

Kafka 如何保证消息消费的全局顺序性

哈喽大家好,我是咸鱼 今天我们继续来讲一讲 Kafka 当有消息被生产出来的时候,如果没有指定分区或者指定 key ,那么消费会按照【轮询】的方式均匀地分配到所有可用分区中,但不一定按照分区顺序来分配 我们知道,在 Kafka 中消费者可以订阅一个或多个主题,并被分配一个或多个分区 如果一个消费者 »

手动部署Kraft模式Kafka集群

手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7. »

iamxiaofu

Kafka 集群如何实现数据同步?

哈喽大家好,我是咸鱼 最近这段时间比较忙,将近一周没更新文章,再不更新我那为数不多的粉丝量就要库库往下掉了 T﹏T 刚好最近在学 Kafka,于是决定写篇跟 Kafka 相关的文章(文中有不对的地方欢迎大家指出) 考虑到有些小伙伴可能是第一次接触 Kafka ,所以先简单介绍一下什么是 Kafka »

面向Java开发者的复习指南,搞定kafka看这一篇就够了

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

dhsfdhfhgufdu

6.8版本elk日志管理系统部署elasticsearch + kibana + logstash + filebeat + kafka_2.12 + x-pack破解 + 各组件间的ssl认证

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

chenjw-note

完整的ELK+filebeat+kafka笔记

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

lz0925

Atlas(元数据管理)从扫盲到和Hive、HBase、Kafka、Flink等集成开发

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

dajiangtai

Spark入门到精通--(第十节)环境搭建(ZooKeeper和kafka搭建)

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

Epir

Flink+kafka实现Wordcount实时计算

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

jiashengmei

Flink kafka connector 端到端精确一次测试

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

Springmoon-venn

Kafka实战-Kafka到Storm

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

smartloli

基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口) Kafka manager安装 (支持0.10以后版本consumer)基于Web的Kafka管理器工具之Kafka-manager启动时出现Exception in thread \"main\" java.lang.UnsupportedClassVersionError错误解决办法(图文

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

zlslch

Kafka性能调优分析-线上环境篇

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

gxyandwmm

Kafka详解五:Kafka Consumer的底层API- SimpleConsumer - Aaron-Mhs

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。   基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount( »

sh425