分布式

分布式协议与算法-Paxos算法

1.Basic Paxos 假设我们要实现一个分布式集群,这个集群是由节点 A、B、C 组成,提供只读 KV 存储服务。你应该知道,创建只读变量的时候,必须要对它进行赋值,而且这个值后续没办法修改。因此一个节点创建只读变量后就不能再修改它了,所以所有节点必须要先对只读变量的值达成共识,然后所有节点再 ... »

分布式协议与算法-Quorum NWR

1.强一致性与最终一致性 1.1强一致性 强一致性能保证写操作完成后,任何后续访问都能读到更新后的值;强一致性可以保证从库有与主库一致的数据。如果主库突然宕机,我们仍可以保证数据完整。但如果从库宕机或网络阻塞,主库就无法完成写入操作。 1.2最终一致性 最终一致性只能保证如果对某个对象没有新的写操作 ... »

聊聊分布式缓存

缓存作为磁盘以外的一种存储数据的方式,它有着比磁盘更快的存取效率,因此,可以有效提高系统的性能。在单体系统中,一般会用到本地缓存。但在分布式系统中,本地缓存就显得不够用了,这时往往要用到分布式缓存。 分布式缓存特性 本地缓存因为就在应用系统进程的内存里面,不需要网络和对象拷贝的开销所以性能非常高,不 ... »

ayic

Java Elastic-Job分布式定时任务使用方法介绍

目录 1 事件追踪 1.1 修改Elastic-Job配置类 1.2.启动项目 2 运维 2.1 搭建 2.2 配置及使用 1 配置注册中心地址 2 配置事件追踪数据源 3 dump命令 1 事件追踪 Elastic-Job-Lite在配置中提供了JobEventConfigu »

【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南(2)

承接上文 上一篇文章说到了Seata 为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。 Seata AT模式 在AT、TCC、SAGA 和 XA 这四种事务模式中使用最多,最方便的 ... »

用Java写一个分布式缓存——缓存淘汰算法

前言 之前也用过一些缓存中间件,框架,也想着自己是不是也能用Java写一个出来,于是就有了这个想法,打算在写的过程中同步进行总结。 源码:weloe/Java-Distributed-Cache (github.com) 本篇代码: Java-Distributed-Cache/src/main/j ... »

【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程(1)

分布式事务的背景 随着业务的不断发展,单体架构已经无法满足我们的需求,分布式微服务架构逐渐成为大型互联网平台的首选,但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题,那就是“分布式事务”问题。 在分布式微服务架构中,几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言,它的 ... »

liboware

PyTorch如何加速数据并行训练?分布式秘籍大揭秘

PyTorch 在学术圈里已经成为最为流行的深度学习框架,如何在使用 PyTorch 时实现高效的并行化? 在芯片性能提升有限的今天,分布式训练成为了应对超大规模数据集和模型的主要方法。本文将向你介绍流行深度学习框架 PyTorch 最新版本( v1.5)的分布式数据并行包的设计、实现和评估。 论文 ... »

amosyang

Redisson如何解决redis分布式锁过期时间到了业务没执行完问题

目录 面试问题 问题分析 如何回答 一、写在前面 二、Redisson实现Redis分布式锁的底层原理 (1)加锁机制 (2)锁互斥机制 (3)watch dog自动延期机制 (4)可重入加锁机制 (5)释放锁机制 (6)上述Redis分布式锁的缺点 总结 面试问题 Redis锁的过 »

Redis的setNX分布式锁超时时间失效 -1问题及解决

目录 Redis setNX分布式锁超时时间失效 -1 使用SETNX加锁 使用 RedisTemplate 操作Redis 解决死锁 Redis分布式锁,超时问题的处理 分布式可能会出现的超时问题 总结 Redis setNX分布式锁超时时间失效 -1 使用SETNX加锁 加锁 »

【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南

前提概要 在大规模互联网应用中,负载均衡设备是必不可少的组成部分,源于互联网应用的高并 发和大流量的冲击压力场景下,通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器(数据库、缓存等等)实现高可用特点和机制。 LVS的介绍说明 官方站点:http://www.linuxvirtuals ... »

Google分布式文件系统GFS论文学习

GFS作为最著名的分布式文件系统,首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统,但是它里面的设计思想还是值得现代分布式系统设计参考的,并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面,列举了设计预期,也就是 GFS 是 ... »

GoLang分布式锁与snowflake雪花算法

目录 分布式id生成器 分布式锁 负载均衡 go语言在网络服务模块有着得天独厚的优势;传送门详细介绍了涉及到的分布式相关技术。 分布式id生成器 Snowflake(雪花算法),由Twitter提出并开源,可在分布式环境下用于生成唯一ID的算法。 生成的Id是64位(int64)数 »

Golang分布式锁简单案例实现流程

其实锁这种东西,都能能不加就不加,锁会导致程序一定程度上退回到串行化,进而降低效率。 首先,看一个案例,如果要实现一个计数器,并且是多个协程共同进行的,就会出现以下的情况: package main import ( "fmt" "sync" ) func main() { »

分布式缓存Redis与Memcached的优缺点区别比较

目录 Memcache与Redis的区别都有哪些? 1)、存储方式 2)、数据支持类型 3)、使用底层模型不同 4),value大小 redis相比memcached有哪些优势? 使用redis有哪些好处? 为什么Memcached和Redis如此流行? 不仅是其具有超高的性能,还因为 »

rate-limit 一款 java 开源渐进式分布式限流框架使用介绍

项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流,后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ... »

houbbBlogs

Redis分布式锁存在的问题(推荐)

目录 分布式锁的特点 不同的实现 场景一:单实例Redis 场景二:单实例Redis的单点故障 场景三:主从复制 场景四:自动刷新的锁 小结 在很多场景中,我们为了保证数据的最终一致性,需要很多的技术方案来支持,比如分布式事务、分布式锁等。 有很多基于Redis实现的分布式锁方案或者库,但是 »

MassTransit 知多少 | 基于MassTransit Courier实现Saga 编排式分布式事务

Saga 模式 Saga 最初出现在1987年Hector Garcaa-Molrna & Kenneth Salem发表的一篇名为《Sagas》的论文里。其核心思想是将长事务拆分为多个短事务,借助Saga事务协调器的协调,来保证要么所有操作都成功完成,要么运行相应的补偿事务以撤消先前完成的工作,从 ... »

sheng-jie .NET

如何基于 Redis 实现分布式锁

什么是分布式锁 分布式锁:不同进程必须以互斥方式使用共享资源的一种锁方法实现。 实现分布式锁的基础 互斥。任何时刻,只有一个客户端持有锁。 无死锁。最终总是有可能获得锁,即使持有锁的客户端已经崩溃。 单个 Redis 分布式锁实现 上锁 上锁需要考虑俩点 原子性 锁能自动释放 首先要考虑持有锁的客户 ... »

meicanhong