分布式

一、使用VMware安装Ubuntu虚拟机 在Linux系统各个发行版中，Ubuntu系统在服务端和桌面端使用占比最高，网络上资料最是齐全，所以这里使用Ubuntu LTS。 整体的系统安装文件较大(>1G)，这里采用了迅雷加速下载。迅雷下载地址：下载迅雷工具 下载地址：Download Ubunt ... »

目录 业务场景 什么是分布式读写锁 分布式读写锁的访问原则 读锁 写锁 具体实现 通过 gorm 连接 mysql 实现读锁模式 实现写锁模式 总结 业务场景 因为项目刚上线，目前暂不打算引入其他中间件，所以打算通过 mysql 来实现分布式读写锁；而该业务场景也满足分布式读写锁 »

在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ... »

摘要：Apache ShardingSphere 是一款分布式的数据库生态系统，它包含两大产品：ShardingSphere-Proxy和ShardingSphere-JDBC。 本文分享自华为云社区《看完这一篇，ShardingSphere-jdbc 实战再也不怕了》，作者：勇哥java实战分享 ... »

一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ... »

目录 1、导入maven坐标 2、redisson配置类（如果redis没有密码就不需要private String password） 3、创建redisson的bean 4、测试，入队 5、测试，出队 6、分布式锁 1、导入maven坐标 <!-- 用redisson作为所有分布 »

(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ... »

目录 什么是apllo开源分布式配置中心？ apllo开源分布式配置中心有什么优势？ 如何部署apllo开源分布式配置中心？ 如何在springBoot项目中获取apollo的配置？ 什么是apllo开源分布式配置中心？ apllo开源分布式配置中心是携程框架部门研发的一个能够集中化管理应 »

有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ... »

1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ... »

分布式事务 一、分布式事务基础 什么是事务？ 事务指的就是一个操作单元，在这个操作单元中的所有操作最终要保持一致的行为，要么所有操作都成功，要么所有的操作都被撤销。简单地说，事务提供一种“要么什么都不做，要么做全套”机制 本地事物 本地事物其实可以认为是数据库提供的事务机制。说到数据库事务就不得不说 »

概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ... »

摘要：北京时间2023年2月9日，Kurator 正式发布 v0.2.0 版本。 本文分享自华为云社区《分布式云原生平台Kurator v0.2.0正式发布！一键构建分布式云原生平台》，作者：Kurator团队。 北京时间2023年2月9日，Kurator 正式发布 v0.2.0 版本。 Kurat ... »

(二) MdbCluster分布式内存数据库——分布式架构1   　　分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程中，我们不断的遇到各种各样的问题，分析问题的原因，修改相应的设 »

摘要：2月14日，华为云发布分布式编译构建系统CodeArts Build，旨在支撑企业实现高效的软件开发，缩短产品上市周期，帮助企业的软件产品快速形成关键竞争力。 本文分享自华为云社区《唯快不破！华为云发布分布式编译构建系统CodeArts Build》，作者： 华为云头条 。 在数字化时代，软件 ... »

曾几何时，知了在一家小公司做项目的时候，都是一个服务打天下，所以涉及到数据一致性的问题，都是直接用本地事务处理。 ... »

摘要：本文将详细介绍下RRateLimiter的具体使用方式、实现原理还有一些注意事项。 本文分享自华为云社区《详解Redisson分布式限流的实现原理》，作者： xindoo。 我们目前在工作中遇到一个性能问题，我们有个定时任务需要处理大量的数据，为了提升吞吐量，所以部署了很多台机器，但这个任务在 ... »

JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑； 多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人； 分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑； 换句话说，JUC的锁和分布式锁都是一种保护系统资... ... »

笔者最近在看MIT6.824的lab1，实验内容是实现一个简易的MapReduce。本篇文章是MapReduce论文的中文翻译。 @Author：Akai-yuan @更新时间：2023/2/13 摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。 用户首先创 ... »

同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ... »