kafka

选型必看:RabbitMQ 七战 Kafka,差异立现

回复“学习”获取独家整理的学习资料!       作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。   不同的场景需要不同的解决方案,选错一个方案能够严重的影响你对软件的设计, »

大数据实时项目必备技能二:kafka有话说

导读: Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。 Kafka创建背景 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型 »

Spark Streaming + Kafka + Redis状态管理 top100场景 Exactly Once

  最近面试蚂蚁金服一面的时候,和面试官聊项目问题的时候,发现我这边业务实现的top100场景好像没有实现exactly once语义,我们项目的offset是存储在zk中,然后业务处理完毕后,最后再提交offset更新到zk,这种时候就会出现一个问题就是如果业务处理完毕,数据已经更新到redis中进行了累加,然后offset更新zk没成功宕机了,再次重启的时候就会读取老的offset导致数据重复 »

一文拿到MapReduce+kafka+Flink17G****,程序员:爽的一匹

  前言 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。 了解过大数据的小伙伴一定都知道MapReduce,kafka,Flink这三种很热门的流式计算 »

【Kafka】CAP理论以及CAP定律

目录 CAP理论 概述 Consistency Availability Partition Tolerance CAP理论 概述 1988年,加州大学计算机科学家Eric Brewer 提出了分布式系统的三大指标:Consistency、Availability、Partition Tolerance,他指出这三个条件同时最多只能满足两个,目前所有的分布式系统都遵循CAP定 »

kafka搭建和安装

自主学习搭建kafka,在此期间也遇见了一些问题,具体步骤与解决方案在下文介绍。 1、安装jdk jre下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html 具体安装方法不再赘述。 2、 安装Zookeeper 下载地址:https://zookeeper.apache.o »

kafka零基础学习笔记一

这是一篇学习过程遇到的问题笔记!希望大牛指点。 零基础学习kafka推荐看下这篇文章:KAFKA官方零基础入门中文版,转载自并发编程网 – ifeve.com kafka下载 当然是官网:http://kafka.apache.org/ 打开官网以后,找到下载页面,会看到下边这样。 箭头所指是源码压缩包,建议抽时间瞅一瞅,据说高手都是这么来的。下边的Binary downloads是kafka二 »

kafka集群搭建

由于kafka是强依赖zookeeper的,需要先安装zookeeper,我们在之前的介绍中已经搭建好了zookeeper集群: 搭建zookeeper集群,以及遇到的个别问题   1、下载安装包 wget http://archive.apache.org/dist/kafka/2.2.2/kafka_2.11-2.2.2.tgz 解压  tar -zxvf  kafka_2.11-2.2.2. »

SpringBoot之Flume整合Kafka

目录 准备工作 Flume整合Kafka         第一步:解压kafka_2.11-2.1.0.tgz文件,将kafka-clients-2.1.0.jar包拷贝至Flume安装目录下的lib文件夹中。         第二步:在flume安装目录下的conf文件夹下创建一个jaas配置文件kafka_client_jaas.conf。         第三步:修改Flume安装目录下的c »

最新鲜的美团现场面试41题(三面技术+HR面):Redis+Kafka+分布式

  一面 hashmap与concurrenthashmap的区别 垃圾回收算法以及垃圾回收器 CMS的回收步骤 G1和CMS的区别 CMS哪个阶段是并发的哪个阶段是串行的? G1内部是如何分区的(region) HashMap如何解决Hash冲突 my sql 索引类别 什么是覆盖索引 b+树和b树的区别 为什么选用自增量作为主键索引 my sql如何优化查询 my sql如何在RR隔离级别下 »

大数据开发最火技术Kafka背后的“黑科技”

Kafka是由Apache软件基金会开发的一个开源流处理平台,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于其他常见消息系统,Kafka在保障了大部分功能特性的同时,还在高吞吐、低延迟等方面有很突出的表现。这篇文章不同于其他介绍Kafka使用或实现的文章,只是谈谈Kafka用了什么“黑科技”使他在性能方面有这么突出的表现。 消息顺序写入磁盘 磁盘大多数都还是机械结构(SSD不 »

Kafka教程(一)---------------kafka环境的部署(单机版/集群版)

想要学习kafka,我们首先需要搭建一个kafka真实的环境,才可以更直观了解kafka的结构并进行实战操作。 请读者根据自己已有的环境以及已有的知识储备选择相应的安装方式 从低配到高配,总有一款适合你(//▽//) 1. 练手低配单机版 解压文件 >tar -xzf kafka_2.9.2-0.8.1.1.tgz >cd kafka_2.9.2-0.8.1.1 目录结构如下: »

被版本更新坑到哭系列:SpringBoot整合Kafka

环境说明 Windows 10 1709 IDEA 2017.3.2 SpringBoot 2.0.M7 Spring-Kafka 2.1.0.RELEASE JDK 1.8.0_144 Maven 3.5.0 前言 编写程序时,一定要注意版本之间的兼容问题.如果不想关注这些,那么就全都用最新的就好了. 由于我用IDEA创建springboot项目的时候,用的springboot版本是稳 »

kafka学习一

kafka是分布式基于发布订阅模式的消息队列。 消息队列有两种模式:1.点对点模式。2.发布订阅模式,其中消费模式又分为两种。第一,消息队列主动推送数据给消费者,但是消费者消费能力不同,这种情况容易造成消费者崩溃或者资源浪费。第二,消费者主动向消息队列拉取数据,但是这种情况需要消费者不断查看消息队列中是否有新数据。kafka使用的是发布订阅中的第二种。 kafka基础架构:生产者生产消息,kaf »

Kafka C++客户端库librdkafka笔记

目录 目录 1 1. 前言 2 2. 缩略语 2 3. 配置和主题 3 3.1. 配置和主题结构 3 3.1.1. Conf 3 3.1.2. ConfImpl 3 3.1.3. Topic 3 3.1.4. TopicImpl 3 4. 线程 4 5. 消费者 5 5.1. 消费者结构 5 5.1.1. Handle 5 5.1.2. HandleImpl 5 5.1.3. ConsumeCb »