分布式

分布式压测之locust和Jmeter的使用

受限于单台机器的配置问题,我们在单台机器上达不到一个很高的压测并发数,那这个时候就需要引入分布式压测 分布式压测原理: 一般通过局域网把不同测试计算机链接到一起,达到测试共享、分散操作、集中管理的目的。 选择一台作为调度机(MASTER),其他机器作为执行机(SLAVE) 执行完成执行机会把所有数 »

yetangjian 其他

分库分表已成为过去式,使用分布式数据库才是未来

转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南 当我们使用 Mysql数据库到达一定量级以后,性能就会逐步下降,而解决此类问题,常用的手段就是引入数据库中间件进行分库分表处理,比如使用 Mycat、ShadingShpere、tddl,但是这种都是过去式 »

waldron

Pytorch分布式训练,其他GPU进程占用GPU0的原因

Pytorch分布式训练,其他GPU进程占用GPU0的两个可能原因 问题 最近跑师兄21年的论文代码,代码里使用了Pytorch分布式训练,在单机8卡的情况下,运行代码,出现如下问题。 也就是说GPU(1..7)上的进程占用了GPU0,这导致GPU0占的显存太多,以至于我的batchsi »

littletreee Bugs

分布式ID介绍&实现方案总结

分布式 ID 介绍 什么是 ID? 日常开发中,我们需要对系统中的各种数据使用 ID 唯一表示,比如用户 ID 对应且仅对应一个人,商品 ID 对应且仅对应一件商品,订单 ID 对应且仅对应一个订单。 我们现实生活中也有各种 ID,比如身份证 ID 对应且仅对应一个人、地址 ID 对应且仅对应 简单 »

javaguide

分布式架构设计思路和要点

分布式架构设计 设计分布式架构时,需要考虑以下几个关键思路和要点: 弹性和可伸缩性:分布式架构应具备弹性和可伸缩性,能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性:分布式系统应具备容错和高可用性能力,即使部分组件或节点发生故障,整个系统仍能正 »

如何使用Redisson实现分布式锁?

在分布式系统中,当多个线程(或进程)同时操作同一个资源时,为了保证数据一致性问题,所以就需要一种机制来确保在同一时间只有一个线程(或进程)能够对资源进行修改,这就是分布式锁的作用。 分布式锁是一种在分布式环境下的锁实现,它允许在多个进程或服务器之间协调对共享资源的访问或操作。分布式锁的关键特性是它 »

vipstone

分布式架构的监控与指标

为什么需要监控系统 分布式系统需要监控系统的原因有很多,以下是其中一些重要的原因: 确保系统可用性和稳定性:监控系统可以帮助您持续监测系统的性能和可用性。当分布式系统的某些部分出现故障或性能瓶颈时,监控系统可以立即发出警报,以便您能够快速采取行动解决问题,确保系统的稳定性和可用性。 识别和解决 »

基于 WinCC OA 构建分布式可视化平台

基于 WinCC OA 构建分布式可视化平台 ​WinCC OA 的全称是:SIMATIC WinCC Open Architecture,是西门子工业自动化品牌SIMATIC系列的一部分。专门针对客户定制大型和/或复杂的应用以及需要满足特定系统需求和功能的项目等。 »

DLIOTOPO

分布式架构的高性能与可用性

分布式架构是一种将系统拆分为多个独立的组件或服务,并在不同的计算节点上部署这些组件或服务的架构方式。它可以提供高性能和可用性的好处。下面我将详细介绍分布式架构在高性能和可用性方面的优势。 高性能 横向扩展:分布式架构可以通过增加计算节点来实现横向扩展,从而提高系统的处理能力和吞吐量。当系统负载增 »

GaussDB(DWS)中的分布式死锁问题实践

出现分布式死锁现象后,如果没有外部干预,通常是一方等待锁超时报错后,事务回滚清理持有锁资源,另一方可继续执行。 本文分享自华为云社区《GaussDB(DWS)中的分布式死锁问题实践》,作者: 他强由他强 。 1、什么是分布式死锁 分布式死锁是相对于单机死锁而言,一个事务块中的语句,可能会 »

看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存

前言 缓存是提升程序性能必不可少的方法,Asp.net core 支持多级缓存配置,主要有客户端缓存、服务器端缓存,内存缓存和分布式缓存等。其中客户端缓和服务器端缓存在使用上都有比较大的限制,而内存缓和分布式缓存则比较灵活。 分布式缓存是一种用于存储和管理数据的技术,它将数据存储在多个节点上,以实现 »

将Abp默认事件总线改造为分布式事件总线

@ 目录 原理 创建分布式事件总线 实现自动订阅和事件转发 使用 启动Redis服务 配置 传递Abp默认事件 传递自定义事件 项目地址 原理 本地事件总线是通过Ioc容器来实现的。 IEventBus接口定义了事件总线的基本功能,如注册事件、取消注册事件、触发事件等。 Abp »

Keepalived 安装

Keepalived安装 ​ 这里先简单介绍一下Keepalived,然后介绍一下Keepalived的两种安装方式,详细配置下次再介绍 1. keepalived介绍 ​ Keepalived是一个基于VRRP协议来实现LVS服务高可用方案,可以利用其来避免单点故障。一个LVS服务会使用2台服 »

KingArmy nginx

MongoDB中的分布式集群架构

MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群 »

基于Raft算法的DLedger-Library分析

在分布式系统应用中,高可用、一致性是经常面临的问题,针对不同的应用场景,我们会选择不同的架构方式,比如master-slave、基于ZooKeeper选主。随着时间的推移,出现了基于Raft算法自动选主的方式,Raft是在Paxos的基础上,做了一些简化和限制,比如增加了日志必须是连续的,只支持领导 »

jingdongkeji

RocksDB 在 vivo 消息推送系统中的实践

本文主要介绍了 RocksDB 的基础原理,并阐述了 RocksDB 在vivo消息推送系统中的一些实践,通过分享一些对 RocksDB 原生能力的探索,希望可以给使用RocksDB的读者带来启发。 作者:vivo 互联网服务器团队 - Zeng Luobin 本文主要介绍了 Roc »

vivotech

.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能

前言 前段时间有同学在微信群里提问,要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架(可以帮助 .NET 工程师快速的完成爬虫的开发):DotnetSpider。 注意:为了自身安全请在国家法律允许范围内开发网络爬虫功能。 »

Can-daydayup

2022 RedisDays 内容揭秘

上个月,Redis举办了3场线上会议,分别介绍了即将正式发布的Redis 7中包括的重要更新的内容,还有Redis完全重写的RedisJSON 2.0模块,和新发布的Redis Stack模块。除此之外,在此次线上会议中还介绍了现代化的软件架构与Redis是如何紧密结合在一起,例如Redis与Mac »

middleware