kafka

Confluent之Kafka Connector初体验

LinkedIn数据驱动主要有两点领悟,其一是强调动态数据有效性要远远大于静态数据,其二是要利用所有数据化信息而不仅仅是交易核心数据。 本篇主要从Kafka诞生背景开始,一步步引出Kafka的Connect组件,而Confluent也免费开源100多种Connector,最后用一个完整的Source... ... »

MQ系列:消息中间件执行原理

1 关于消息中间件 1.1 什么是消息中间件? 消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。 消息中间件也可以称消息队列(Message Queue / MQ),用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型,可 ... »

深入理解Kafka核心设计及原理(五):消息存储

转载请注明出处:https://www.cnblogs.com/zjdxr-up/p/16127749.html 目录: 5.1文件目录布局 5.2消息压缩 5.3日志索引 5.4日志文件及索引文件分段触发条件 5.5日志清理 5.6 磁盘存储--页缓存/零拷贝技术 5.1文件目录布局 如果分区规则 ... »

zjdxr-up

深入理解Kafka核心设计及原理(四):主题管理

转载请注明出处:https://www.cnblogs.com/zjdxr-up/p/16124354.html 目录: 4.1创建主题 4.2 优先副本的选举 4.3 分区重分配 4.4 如何选择合适的分区 4.5分区数越多吞吐量也越高? 4.1创建主题 如果 broker 端配置参数 auto ... »

zjdxr-up

【面试普通人VS高手】Kafka的零拷贝原理?

最近一个学员去滴滴面试,在第二面的时候遇到了这个问题: "请你简单说一下Kafka的零拷贝原理" 然后那个学员努力在大脑里检索了很久,没有回答上来。 那么今天,我们基于这个问题来看看,普通人和高手是如何回答的! 普通人的回答: 零拷贝是一种减少数据拷贝的机制,能够有效提升数据的效率 高手的回答: 在 ... »

深入理解Kafka核心设计及原理(三):消费者

转载请注明出处:https://www.cnblogs.com/zjdxr-up/p/16114877.html 深入理解Kafka核心设计及原理(一):初识Kafka 深入理解Kafka核心设计及原理(二):生产者 3.1 消费者与消费组 消费者(Consumer)负责订阅Kafka 中的主题(T ... »

zjdxr-up

深入理解Kafka核心设计及原理(二):生产者

转载请注明出处: 2.1Kafka生产者客户端架构 2.2 Kafka 进行消息生产发送代码示例及ProducerRecord对象 kafka进行消息生产发送代码示例: public class KafkaProducerAnalysis { public static final String b ... »

zjdxr-up

kafka生产者调优手册

第一章 kafka硬件配置选择 1.1 场景说明 100 万日活,每人每天 100 条日志,每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。每条日志大小:0.5k - 2k(取 1k)。 1150 条/每秒钟 * 1 ... »

guyouyin123

kafka快速入门到精通

1. 消息队列两种模式 1.1 消息队列作用 消息队列主要作用: 1.解偶 2.削峰,缓冲 3.异步 4.占存数据 kafka机器可用动态添加减少机器 1.2 点对点模式(一对一,消费者主动拉取数据,消息收到后消息删除) 消息生产者生产消息发送到Queue 中,然后消息消费者从Queue 中取出并且 ... »

guyouyin123

实际业务处理 Kafka 消息丢失、重复消费和顺序消费的问题

关于 Kafka 消息丢失、重复消费和顺序消费的问题 消息丢失,消息重复消费,消息顺序消费等问题是我们使用 MQ 时不得不考虑的一个问题,下面我结合实际的业务来和你分享一下解决方案。 消息丢失问题 比如我们使用 Kakfa 时,以下场景都会发生消息丢失: producer → broker (生产者 ... »

Fzeng MQ

快速安装 kafka 集群

前言 最近因为工作原因,需要安装一个 kafka 集群,目前网络上有很多相关的教程,按着步骤来也能完成安装,只是这些教程都显得略微繁琐。因此,我写了这篇文章帮助大家快速完成 kafka 集群安装。 安装步骤 准备多台服务器,数量建议为奇数(如:3,5,7 等),操作系统为 CentOS 7+。 这里 ... »

手绘模型图带你认识Kafka服务端网络模型

摘要:Kafka中的网络模型就是基于主从Reactor多线程进行设计的。 本文分享自华为云社区《图解Kafka服务端网络模型》,作者:石臻臻的杂货铺 。 Kafka中的网络模型就是基于主从Reactor多线程进行设计的, 在整体讲述Kafka网络模型之前,我们现在按照源码中的相关类来讲解一下他们分别 ... »

kafka 第一次小整理(草稿篇)————分发的基本思路[三]

前言 简单整理一下分发的基本思路。 正文 kafka 原本是做日志管理系统,主要是分发这块的。 那么如何做分发呢? 分发的是什么呢? 分发的其实是日志,日志是事件状态,kafka 内部就叫做Record,也就是记录哈,也可以叫做事件状态的记录,其实和日志的意思差不多了。 首先需求是有分类的,要给re ... »

6张图为你分析Kafka Producer 消息缓存模型

摘要:发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中吗? 本文分享自华为云社区《图解Kafka Producer 消息缓存模型》,作者:石臻臻的杂货铺。 在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。 发送消息的时候, 当Broker挂掉 ... »

kafka 第一次小整理(草稿篇)————演变[二]

前言 简单整理一些kafka的设计。 正文 前文提及到log 的重要性,以及kafka在其中的作用,起着一个日志管理分发的作用,对于其他服务来说相当于新闻报社,订阅某种主题就会收到某类信息。 当人们意识到事件状态的重要性的时候,当时还没有日志管理系统,可能像下面这样: 他们各自传递着各自的事件状态给 ... »

kafka 第一次小整理(草稿篇)————整理一下自己的认知

前言 简单整理一些自己使用kafka的一些感受。 正文 一切都要回到真实的世界上, 计算机世界只是真实事件的一个缩影。 计算机世界有一个重要的东西,那就是数据库。 数据库记录着真实世界发生了什么,准确的说就是这个世界发生了什么然后产生了什么结果。 比如说一辆火车,那么数据库记录这辆火车是开启的开始停 ... »

CMAK(Kafka Manager)安装

CMAK 是管理Kafka集群的常用工具,之前的名字叫Kafka Manager。CMAK功能很强大,它可以管理多个Kafka集群,查看集群内部状态,如:topic、broker、consumer、partition,也可用于创建topic,迁移分区等。笔者在安装CMAK过程中遇到并解决了一些问题, ... »

ljhbjehp Kafka

KAFKA入门----第二篇

Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。   当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适合离线)。高可靠交付对linkedin的日志不是必须的,故可通过降低可靠性来提高性能,同时通过 »

Kafka系列一 基本安装

一 配置文件(下载、解压、跳过) 1 # Licensed to the Apache Software Foundation (ASF) under one or more 2 # contributor license agreements. See the NOTICE file distributed with 3 # this work for additional i »

Kafka 幂等生产者和事务生产者特性(讨论基于 kafka-python | confluent-kafka 客户端)

Kafka 提供了一个消息交付可靠性保障以及精确处理一次语义的实现。通常来说消息队列都提供多种消息语义保证 最多一次 (at most once): 消息可能会丢失,但绝不会被重复发送。 至少一次 (at least once): 消息不会丢失,但有可能被重复发送。 精确一次 (exactly once): 消息不会丢失,也不会被重复发送。  默认情况下社区维护的 python-kafka 包会使 »