Strimzi Kafka Bridge(桥接)实战之二：生产和发送消息
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战之》系列的第二篇，咱们直奔bridge的重点：常用接口，用实际操作体验如何用brid ... »
一文教你理解Kafka offset
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。 topic 是 kafka 中的消息以主题为单位进行归类的逻辑概念，生产者负责将消息 ... »
Strimzi Kafka Bridge(桥接)实战之一：简介和部署
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于《Strimzi Kafka Bridge(桥接)实战》 在strimzi技术体系中，桥接(bridge)是很要的功能，内容也很丰富，因此将桥接相关的 ... »
专为小白打造—Kafka一篇文章从入门到入土
Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 ... »
Kafka与RabbitMQ
一、什么是kafka，什么是rabbit Kafka是由Scala语言开发的一种分布式流处理框架，主要用于处理活跃的流式数据，以及大数据量的数据处理。它采用发布-订阅模型，支持消息的批量处理，数据的存储和获取是本地磁盘顺序批量操作，这使得消息处理的效率较高，吞吐量较大。 RabbitMQ则是由Erl ... »
OGG-Postgres实时同步到Kafka
（一）数据同步信息 名称 源端 名称 目标端 数据库类型 Postgresql 12.4 组件类型 Kafka IP地址 20.2.127.23 Broker地址 20.2.125.52:9092, 20.2.127.23:9092, 20.2.127.24:9092 端口 5432 端口 9092 ... »
我的 Kafka 旅程 - 基于账号密码的 SASL+PLAIN 认证授权 · 配置 · 创建账号 · 用户授权 · .NET接入
Kafka 3.x，Kraft模式，账号密码方式，SASL+PLAINTEXT+SCRAM 认证授权，用户的分类，命令行创建用户，查看账号信息，认证授权的配置，将账号授权到Topic，写入与读取的权限，创建用户凭证，以用户凭证连接到Kafka，.NET用户凭证接入。 ... »
Kafka-基础
## 1. 简介 **Kafka（Apache Kafka）** 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高吞吐量、容错性强的数据流应用程序提供支持。Kafka的特点使得它 ... »
Flink-读Kafka写Hive表
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ... »
Kafka为什么这么快？
Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢？本文将从七个方面来分析 Kafka 的速度优势。 - 零拷贝技术 - 仅可追加日志结构 - ... »
分布式存储系统举例剖析（elasticsearch，kafka，redis-cluster）
1. 概述 对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP, FLP 等理论，提出了很多一致性模型，Paxos 是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。 在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分 ... »
SpringBoot3集成Kafka
Kafka是一个开源的分布式事件流平台，常被用于高性能数据管道、流分析、数据集成和关键任务应用，基于Zookeeper协调的处理平台，也是一种消息系统，具有更好的吞吐量、内置分区、复制和容错。 ... »
《高级程序员 面试攻略 》rabitmq rcoketmq kafka的区别 和应用场景
RabbitMQ、RocketMQ 和 Kafka 都是流行的消息中间件系统，用于实现分布式应用程序之间的异步通信。虽然它们都有类似的目标，但在设计和应用场景上存在一些区别。 1. RabbitMQ（兔子消息队列）： - 描述：RabbitMQ 是一个开源的消息代理系统，实现了高性能、可靠的消息传递 ... »
谈谈 Kafka 的幂等性 Producer
使用消息队列，我们肯定希望不丢消息，也就是消息队列组件，需要保证消息的可靠交付。消息交付的可靠性保障，有以下三种承诺： - 最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。 - 至少一次（at least once）：消息不会丢失，但有可能被重复发送。 - 精确一次（exa ... »
Kafka主从模式和故障切换
Kafka集群有主从模式吗？ Kafka集群实际上并没有严格意义上的主从模式。Kafka的设计是基于分布式的，每个Topic都会切分为多个Partition，每个Partition都有一个Leader和多个Follower。 所有的读写操作都是通过Leader来进行的，Follower则负责从Lea ... »
微服务探索之路06篇k8s配置文件Yaml部署Redis使用Helm部署MongoDB和kafka
## 1 安装Redis ### 1.1创建配置文件redis.conf 切换到自己的目录下如本文是放在/home/ubuntu下 - `cd /home/ubuntu` - `vim redis.conf` ```YAML bind 0.0.0.0 protected-mode yes port ... »
debezium同步postgresql数据至kafka
# 0 实验环境 全部部署于本地虚拟机 debezium docker部署 postgresql、kafka本机部署  技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存 ... »
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？ 答案2023-07-14：  **在Kafka中，文件的布局采 ... »