分布式系统

分布式系统的主键生成方案对比

UUID(通用唯一识别码)是由32个十六进制数组成的无序字符串,通过一定的算法计算出来。为了保证其唯一性,UUID规范定义了包括网卡MAC地址、时间戳、名字空间(Namespace)、随机或伪随机数、时序等元素,以及从这些元素生成UUID的算法。一般来说,算法可以保证任何地方产生的任意一个UUID都... ... »

jingdongkeji

浅谈幂等设计

如今随着互联网技术快速发展,业务越来越复杂,系统的高并发和关键数据的场景越来越多。在分布式系统中,机器宕机和消息丢失也是需要重点关注的问题,其中的一个典型就是幂等性问题。 ... »

jingdongkeji

分布式存储系统举例剖析(elasticsearch,kafka,redis-cluster)

1. 概述 对于分布式系统,人们首先对现实中的分布式系统进行高层抽象,然后做出各种假设,发展了诸如CAP, FLP 等理论,提出了很多一致性模型,Paxos 是其中最璀璨的明珠。我们对分布式系统的时序,复制模式,一致性等基础理论特别关注。 在共识算法的基础上衍生了选举算法,并且为分布式事务提供了部分 ... »

分布式系统常见理论讲解

分布式系统是指由多个节点通过网络进行通信和协作的系统,它具有高可用性、高扩展性、高性能等优点,但也面临着一些挑战,如数据一致性、容错性、负载均衡等。为了解决这些问题,分布式系统设计出现了一些经典的理论和方法,如 CAP 理论、BASE 理论、一致性等。 # CAP 理论 CAP 理论是指一个分布式系 ... »

waynaqua

几种分布式文件系统的优缺点归纳与总结

1、常用的分布式文件系统有以下几种: 1. Hadoop HDFS:Hadoop Distributed File System(HDFS)是Apache Hadoop生态系统的一部分,用于存储和处理大数据。 2. Ceph:Ceph是一个开源的分布式存储系统,提供了高可用性、高性能和可扩展性。 3 ... »

【Python】如何在FastAPI中使用UUID标记日志,以跟踪一个请求的完整生命周期

## 为什么要使用uuid标记日志? 在分布式系统中,一个请求可能会经过多个服务,每个服务都会生成自己的日志。如果我们只使用普通的日志记录,那么很难将这些日志串联在一起,以至难以跟踪一个请求的完整生命周期。 如果能够使用uuid标记日志,为每个请求生成一个唯一的uuid,且这个日志可以在不同的系统间 ... »

Detector

在学习分布式系统时遇到的五个常见误解

哈喽大家好,我是咸鱼 我们知道,随着企业规模或者说业务规模的不断扩大,为了应对不断增长的业务需求和提高系统的可伸缩性、可靠性和性能,计算机系统由一开始的单体系统逐渐发展成分布式系统 那么今天咸鱼给大家介绍一些关于小白在学习分布式系统遇到的一些常见误解 ## 误解1.网络是可靠的 **在分布式系统中, ... »

mosn基于延迟负载均衡算法 -- 走得更快,期待走得更稳

这篇文章主要是介绍mosn在v1.5.0中新引入的基于延迟的负载均衡算法。对分布式系统中延迟出现的原因进行剖析,介绍mosn都通过哪些方法来降低延迟,构建来与生产环境性能分布相近的测试用例来对算法进行验证 ... »

Jcloud

Uber SRE 实践:运维大型分布式系统的一些心得

本文是 Uber 的工程师 Gergely Orosz 的文章,原文地址在:https://blog.pragmaticengineer.com/operating-a-high-scale-distributed-system/ 在过去的几年里,我一直在构建和运营一个大型分布式系统:优步的支付系统 ... »

ulricqin

CAT分布式实时监控系统使用详解

目录 CAT相比于其他组件的优势: CAT的应用场景: CAT的使用方法: 部署流程: 在springboot中使用案例: 1. 引入依赖: 2. 配置客户端: 3. 初始化客户端: 4. 添加埋点: 5. 测试并查看结果: CAT相比于其他组件的优势: CAT分布式实时监控系统是 »

kafka分布式消息系统基本架构及功能详解

目录 什么是Kafka 一、Kafka的基本功能 二、Kafka基本架构 三、Kafka的实现方法 1 发布/订阅模式 2 分区 四、Kafka的优势和劣势 优势 劣势 Kafka的部署方法 Kafka的应用 实时数据处理 批量处理 日志追踪 监控 Kafka使用案例 使用Kafka »

浅析三款大规模分布式文件系统架构设计

什么是文件系统 当提到文件系统,大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统,比如大家打开 Windows、macOS 或者 Linux,不管是用资源管理器还是 Finder,都是在和文件系统打交道。如果大家有自己动手装过操作系统的话,第一次安装的时候一定会有一个步骤就是要格式化磁盘,格 ... »

JuiceData

kafka分布式消息系统基本架构及功能是什么

这篇文章主要介绍了kafka分布式消息系统基本架构及功能是什么的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇kafka分布式消息系统基本架构及功能是什么文章都会有所收获,下面我们一起来看看吧。 什么是Kafka Kafka是Apache软件基金会开发的一个基于发布/订阅 »

kafka分布式消息系统基本架构及功能是什么

这篇文章主要介绍了kafka分布式消息系统基本架构及功能是什么的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇kafka分布式消息系统基本架构及功能是什么文章都会有所收获,下面我们一起来看看吧。 什么是Kafka Kafka是Apache软件基金会开发的一个基于发布/订阅 »

CAT分布式实时监控系统如何使用

这篇文章主要讲解了“CAT分布式实时监控系统如何使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“CAT分布式实时监控系统如何使用”吧! CAT相比于其他组件的优势: CAT分布式实时监控系统是一个开源的服务端项目基础组件,它可以提供多语言客户端,支 »

CAT分布式实时监控系统如何使用

这篇文章主要讲解了“CAT分布式实时监控系统如何使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“CAT分布式实时监控系统如何使用”吧! CAT相比于其他组件的优势: CAT分布式实时监控系统是一个开源的服务端项目基础组件,它可以提供多语言客户端,支 »

华为云发布分布式编译构建系统CodeArts Build

摘要:2月14日,华为云发布分布式编译构建系统CodeArts Build,旨在支撑企业实现高效的软件开发,缩短产品上市周期,帮助企业的软件产品快速形成关键竞争力。 本文分享自华为云社区《唯快不破!华为云发布分布式编译构建系统CodeArts Build》,作者: 华为云头条 。 在数字化时代,软件 ... »

分布式机器学习:异步SGD和Hogwild!算法(Pytorch)

同步算法的共性是所有的节点会以一定的频率进行全局同步。然而,当工作节点的计算性能存在差异,或者某些工作节点无法正常工作(比如死机)的时候,分布式系统的整体运行效率不好,甚至无法完成训练任务。为了解决此问题,人们提出了异步的并行算法。在异步的通信模式下,各个工作节点不需要互相等待,而是以一个或多个全局... ... »