分布式

【原创】分布式之一行代码解决缓存击穿问题

引言 今天,重新回顾一下缓存击穿这个问题! 之所以写这个文章呢,因为目前网上流传的文章落地性太差(什么布隆过滤器啊,布谷过滤器啊,嗯,你们懂的),其实这类方案并不适合在项目中直接落地。 那么,我们在项目中落地代码的时候,其实只需要一个注解就能解决这些问题,并不需要搞的那么复杂。 本文有一个前提,读者 ... »

rjzheng

Go汇编语法和MatrixOne使用介绍

MatrixOne是一个新一代超融合异构数据库,致力于打造单一架构处理TP、AP、流计算等多种负载的极简大数据引擎。MatrixOne由Go语言所开发,并已于2021年10月开源,目前已经release到0.3版本。在MatrixOne已发布的性能报告中,与业界领先的OLAP数据库Clickhous... ... »

dengn Go

分布式缓存--缓存与数据库强一致场景下的方案

1. 概述 缓存与数据库的强一致性,也称线性一致性,核心要求是:数据库中的值发生变更,缓存数据要实现同步复制,并且一旦操作完成,随后任意客户端的查询都必须返回这一新值。以下图为例,一旦写入b完成,必须保证读到;而写入过程中,认为值的跳变可能发生在某一瞬间,因此读到a或b都是可能的。数据库与缓存作为一 ... »

基于 Redis 分布式锁

1、主流分布式锁实现方案 基于数据库实现分布式锁 基于缓存(redis 等) 基于 Zookeeper 2、根据实现方式分类 : 类 CAS 自旋式分布式锁:询问的方式,类似 java 并发编程中的线程获询问的方式尝试加锁,如 mysql、redis。 event 事件类型分布式锁: event 事 ... »

wen0223 redis

缓存中间件-Redis(二)

在上一篇中我们简单总结和介绍了Redis的几个方面 1.使用Redis背景 2.Redis通信多路复用的基本原理 3.Redis基本数据结构 4.Redis持久化方式 这一篇我们使用简单的业务场景来介绍Redis的分布式锁和集群 1.分布式锁 首先我们应该知道什么是分布式锁,用来做什么的,解决了什么 ... »

yuxl01 .NET

SpringCloud微服务实战——搭建企业级开发框架(三十九):使用Redis分布式锁(Redisson)+自定义注解+AOP实现微服务重复请求控制

通常我们可以在前端通过防抖和节流来解决短时间内请求重复提交的问题,如果因网络问题、Nginx重试机制、微服务Feign重试机制或者用户故意绕过前端防抖和节流设置,直接频繁发起请求,都会导致系统防重请求失败,甚至导致后台产生多条重复记录,此时我们需要考虑在后台增加防重设置。 考虑到微服务分布式的场景, ... »

FullStackProgrammer

分布式应用运行时 Dapr 1.7 发布

Dapr 是一个开源、可移植的、事件驱动的运行时,可以帮助开发人员构建在云和边缘上运行的弹性的、微服务的、无状态和有状态应用程序,并且关注于业务逻辑而不用考虑分布式相关的问题。 分布式相关的问题交给Dapr来解决。 2022年4月8日正式发布了1.7 鬓斑白, 这是这是自Dapr v1.0 发布以来 ... »

shanyou Dapr

开源分布式图数据库的思考和实践

本文首发于 Nebula Graph Community 公众号 本文整理自 DTCC 主题演讲【开源分布式图数据库的思考和实践】 目录 目录 图数据库市场的现状 图数据库的优势 以 Nebula Graph 为例 开源社区 图数据库市场的现状 开篇之前,先回顾下图数据库市场变化,2018 年前市场 ... »

解析分布式系统的缓存设计

本文由浅入深,渐进式介绍缓存技术的基本原理。通过本文,可以让读者快速了解以下知识点:缓存是什么;为什么需要缓存;缓存有哪些主流技术,各自有什么特点,适用于什么场景;应该缓存哪些数据,缓存多久;如何淘汰数据;使用缓存有哪些常见问题以及如何应对这些问题。 ... »

vivotech

缓存中间件-Redis(一)

1.Redis介绍 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的 key-value 存储系统,是跨平台的非关系型数据库,Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可 ... »

yuxl01 .NET

都2022年了,HDFS为何还如此能战!

摘要:HDFS也许不是最好的大数据存储技术,但依然是最重要的大数据存储技术。 本文分享自华为云社区《HDFS为何在大数据领域经久不衰?》,作者: JavaEdge。 1、概述 1.1 简介 Hadoop实现的一个分布式文件系统(Hadoop Distributed File System),简称HD ... »

分布式缓存--缓存与数据库一致性方案

1. 概述 缓存设计是应用系统设计中重要的一环,是通过空间换取时间的一种策略,达到高性能访问数据的目的;但是缓存的数据并不是时刻存在内存中,当数据发生变化时,如何与数据库中的数据保持一致,以满足业务系统要求,本篇将给出具体分析。 2. 强一致与最终一致性 所谓强一致,就是指系统在对外提供服务的过程中 ... »

Solon 1.6.36 发布,更现代感的应用开发框架

相对于 Spring Boot 和 Spring Cloud 的项目 启动快 5 ~ 10 倍 qps 高 2~ 3 倍 运行时内存节省 1/3 ~ 1/2 打包可以缩小到 1/2 ~ 1/10(比如,90Mb 的变成了 9Mb) 关于 Solon Solon 是一个更现代感的应用开发框架,轻量、开 ... »

noear

Linux_hadoop2.2.0伪分布式搭建安装

一:准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) centos 7 连接:https://zhuanlan.zhihu.com/p/375497418 vim /etc/sysconfig/network NETWORKING=ye ... »

zzc1102 Linux

基于kubernetes的分布式限流

做为一个数据上报系统,随着接入量越来越大,由于 API 接口无法控制调用方的行为,因此当遇到瞬时请求量激增时,会导致接口占用过多服务器资源,使得其他请求响应速度降低或是超时,更有甚者可能导致服务器宕机。 一、概念 限流(Ratelimiting)指对应用服务的请求进行限制,例如某一接口的请求限制为 ... »

w1570631036