分布式

深入浅出聊Taier—大数据分布式可视化DAG任务调度系统

导读: 上周,袋鼠云数栈全新技术开源规划——DTMO(DTstack Meetup Online)的第一场直播圆满完成。袋鼠云数栈大数据开发专家、Taier项目主导人偷天为大家带来了《Taier入门介绍》的分享,我们将直播精华部分做了整理,带大家再次回顾内容,加深技术细节的了解。 你能看到 »

DTinsight

【原创】分布式之一行代码解决缓存击穿问题

引言 今天,重新回顾一下缓存击穿这个问题! 之所以写这个文章呢,因为目前网上流传的文章落地性太差(什么布隆过滤器啊,布谷过滤器啊,嗯,你们懂的),其实这类方案并不适合在项目中直接落地。 那么,我们在项目中落地代码的时候,其实只需要一个注解就能解决这些问题,并不需要搞的那么复杂。 本文有一个前提,读者 ... »

rjzheng

分布式缓存--缓存与数据库强一致场景下的方案

1. 概述 缓存与数据库的强一致性,也称线性一致性,核心要求是:数据库中的值发生变更,缓存数据要实现同步复制,并且一旦操作完成,随后任意客户端的查询都必须返回这一新值。以下图为例,一旦写入b完成,必须保证读到;而写入过程中,认为值的跳变可能发生在某一瞬间,因此读到a或b都是可能的。数据库与缓存作为一 ... »

Raft协议

Raft协议是比paxos协议更容易理解和实现的一种一致性协议。http://thesecretlivesofdata.com/raft/ 这个网址动态演示了Raft协议的整个过程。跟着记录一下: 1:Raft是一个可被理解接受的分布式一致性协议。 2:什么是分布式一致性协议呢?以一个例子为例 3: ... »

基于 Redis 分布式锁

1、主流分布式锁实现方案 基于数据库实现分布式锁 基于缓存(redis 等) 基于 Zookeeper 2、根据实现方式分类 : 类 CAS 自旋式分布式锁:询问的方式,类似 java 并发编程中的线程获询问的方式尝试加锁,如 mysql、redis。 event 事件类型分布式锁: event 事 ... »

wen0223 redis

SpringCloud微服务实战——搭建企业级开发框架(三十九):使用Redis分布式锁(Redisson)+自定义注解+AOP实现微服务重复请求控制

通常我们可以在前端通过防抖和节流来解决短时间内请求重复提交的问题,如果因网络问题、Nginx重试机制、微服务Feign重试机制或者用户故意绕过前端防抖和节流设置,直接频繁发起请求,都会导致系统防重请求失败,甚至导致后台产生多条重复记录,此时我们需要考虑在后台增加防重设置。 考虑到微服务分布式的场景, ... »

FullStackProgrammer

分布式应用运行时 Dapr 1.7 发布

Dapr 是一个开源、可移植的、事件驱动的运行时,可以帮助开发人员构建在云和边缘上运行的弹性的、微服务的、无状态和有状态应用程序,并且关注于业务逻辑而不用考虑分布式相关的问题。 分布式相关的问题交给Dapr来解决。 2022年4月8日正式发布了1.7 鬓斑白, 这是这是自Dapr v1.0 发布以来 ... »

shanyou Dapr

开源分布式图数据库的思考和实践

本文首发于 Nebula Graph Community 公众号 本文整理自 DTCC 主题演讲【开源分布式图数据库的思考和实践】 目录 目录 图数据库市场的现状 图数据库的优势 以 Nebula Graph 为例 开源社区 图数据库市场的现状 开篇之前,先回顾下图数据库市场变化,2018 年前市场 ... »

解析分布式系统的缓存设计

本文由浅入深,渐进式介绍缓存技术的基本原理。通过本文,可以让读者快速了解以下知识点:缓存是什么;为什么需要缓存;缓存有哪些主流技术,各自有什么特点,适用于什么场景;应该缓存哪些数据,缓存多久;如何淘汰数据;使用缓存有哪些常见问题以及如何应对这些问题。 ... »

vivotech

分布式缓存--缓存与数据库一致性方案

1. 概述 缓存设计是应用系统设计中重要的一环,是通过空间换取时间的一种策略,达到高性能访问数据的目的;但是缓存的数据并不是时刻存在内存中,当数据发生变化时,如何与数据库中的数据保持一致,以满足业务系统要求,本篇将给出具体分析。 2. 强一致与最终一致性 所谓强一致,就是指系统在对外提供服务的过程中 ... »

Linux_hadoop2.2.0伪分布式搭建安装

一:准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) centos 7 连接:https://zhuanlan.zhihu.com/p/375497418 vim /etc/sysconfig/network NETWORKING=ye ... »

zzc1102 Linux

基于kubernetes的分布式限流

做为一个数据上报系统,随着接入量越来越大,由于 API 接口无法控制调用方的行为,因此当遇到瞬时请求量激增时,会导致接口占用过多服务器资源,使得其他请求响应速度降低或是超时,更有甚者可能导致服务器宕机。 一、概念 限流(Ratelimiting)指对应用服务的请求进行限制,例如某一接口的请求限制为 ... »

w1570631036

[翻译] Cassandra 分布式结构化存储系统

Cassandra 分布式结构化存储系统 摘要 Cassandra 是一个分布式存储系统,用于管理分布在许多商品服务器上的大量结构化数据,同时提供无单点故障(no single point of failure)的高可用服务。Cassandra 的目标是在数百个节点(可能分布在不同的数据中心)的基础 ... »

ms27946