kafka初认识(一)

首先贴出官网地址:https://kafka.apache.org/ 一、 简介 Kafka 是 linkedin 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。Kafka 对消息保存时根据 Topic 进行归类,发送消息者成为 Producer ,消息接受者成为 Consumer ... »

sarama的消费者组分析、使用

以前老的sarama版本不支持消费者组的消费方式,所以大多数人都用sarama-cluster。 后来sarama支持了消费者组的消费方式,sarama-cluster也停止维护了,但网上关于sarama的消费者组的解析很少,且官方的样例很简单,所以这里分析一下。 一、官方样例 官方样例比较简单: ... »

payapa

记一次Kafka服务器宕机的真实经历!!

大家好,我是冰河~~ 估计节前前祭拜服务器不灵了,年后服务器总是或多或少的出现点问题。不知是人的问题,还是风水问题。昨天下班时,跟运维小伙伴交代了好几遍:如果使用Docker安装Kafka集群的话,也需要把Kafka集群的服务器硬盘分配的大一些,公司业务量很大,很多服务的通信、数据的流转、日志采集的 ... »

Sentry 监控 - Snuba 数据中台架构简介(Kafka+Clickhouse)

系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps Sentry For React 完整接入详解 Sentry For Vue 完整接入详解 Sentry-CLI 使用详 ... »

hacker-linner

大数据Spark+Kafka实时数据分析案例 本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现,案例的整体框架图如下:

本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现, »

zhaojinyan

Kafka Eagle V2.0.0新版预览

1.概述 Kafka Eagle是一款用于管理Kafka的监控系统,且完全开源。当前Kafka Eagle发布了2.0.0版本。今天笔者就为大家来介绍一下2.0.0更新了哪些功能。 官网地址:http »

smartloli

kafka 副本机制和容错处理 -2

文章来源于本人的印象笔记,如出现格式问题可访问该链接查看原文 原创声明:作者:Arnold.zhao 博客园地址:https://www.cnblogs.com/zh94 副本机制 Kafka的副本机 »

zh94

kafka生产、存储、消费消息

Kafka架构组成:由producer(消息生产者)、consumer(消息消费者)、borker(kafka集群的server,负责处理消息读、写请求,存储消息,在kafka cluster这一层这 »

zy-sai

JAVA封装消息中间件调用一(kafka生产者篇)

这段时间因为工作关系一直在忙于消息中间件的发开,现在趁着项目收尾阶段分享下对kafka的一些使用心得。 kafka的原理我这里就不做介绍了,可参考http://orchome.com/kafka/in »

zwt1990

kafka消息中间件及java示例

kafka是一个消息中间件,用于各个系统之间传递消息,并且消息可持久化! 可以认为是队列模型,也可以看作是生产者消费着模型; 简单的生产者消费者客户端代码如下: package com.pt.util »

tengpan-cn

Canal+Kafka实现MySQL与Redis数据同步

文章来源 https://blog.csdn.net/yehongzhi1994/article/details/108034330 思维导图 前言 在很多业务情况下,我们都会在系统中加入r »

purple5252

Kafka简介 - 时间朋友

工作中多少接触过kafka,尤其是在大数据消息处理的场景,用到kafka的地方很多,它给人最大的印象就是它最初设计的目标“满足高数据量吞吐量”。 Apache Kafka最初由LinkedIn贡献,目 »

doit8791

Apache Kafka用例

1.目标 在我们上一篇Kafka教程中,我们讨论了Kafka Pros and Cons。今天,在这篇Kafka文章中,我们将讨论Apache Kafka用例和Kafka应用程序。Kafka是新数据堆 »

a00ium

常见5种消息队列介绍及入门教程!ActiveMQ、kafka、RabbitMQ等

消息队列是分布式应用间交换信息的重要组件,消息队列可驻留在内存或磁盘上, 队列可以存储消息直到它们被应用程序读走。 通过消息队列,应用程序可以在不知道彼此位置的情况下独立处理消息,或者在处理消息前不需 »

mag-edu

4个小技巧带你轻松入门kafka!

前言 Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的 »

QLCZ

在LinkedIn的 Kafka 生态系统

在LinkedIn的 Kafka 生态系统 Apache Kafka是一个高度可扩展的消息传递系统,作为LinkedIn的中央数据管道起着至关重要的作用。 Kafka 是在2010年在LinkedIn »

xinxiucan

kafka环境搭建---Windows环境搭建

kafka环境搭建 Windows环境搭建 Kafka是使用zookeeper来进行的集群部署,要想使用kafka进行集群的话就需要安装zookeeper,而zookeeper是用Java编写的,因此 »

1175429393wljblog

Kafka学习之路 (一)Kafka的简介

一、简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/ng »

qingyunzong