分布式

分布式系统概述(Hadoop与HBase的前生今世)

古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。 同样:我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。 —— Grace Hopper(计算机软件第一夫人,计算机历史上第一个BUG的发现者,也是史上最大BUG千年虫的制造者) 这就是分布式。     再来看一组令人瞠目结舌的数据: 2012年11月11日 支付宝总交易额191亿元,订单1亿零580万 »

Cassandra 分布式数据库详解,第 2 部分:数据结构与数据读写

 原文 http://www.ibm.com/developerworks/cn/opensource/os-cn-cassandraxu2/   Cassandra 的数据存储结构 Cassandra 中的数据主要分为三种: CommitLog:主要记录下客户端提交过来的数据以及操作。这个数据将被持久化到磁盘中,以便数据没有被持久化到磁盘时可以用来恢复。 Memtable:用户写的数据 »

FASS分布式全闪存储技术白皮书

当前单块NVMe SSD性能可以达到100万IOPS,SSD硬盘与HDD机械硬盘有了天壤之别。传统存储的软硬件架构,都已经不再适合承载高速闪存介质,它们从根本上制约了新型存储介质的生产力。全闪存阵列已经逐步向全NVMe硬件转移,然而其扩展性与灵活性,在云计算时代始终是最大的瓶颈。分布式全闪存储系统在全闪存介质配置的基础上,采用了标准的硬件平台、高效的新兴存储协议、极致的软件优化,可提供更简单经济、 »

分布式文件存储-FastDFS

整理知识点时翻出来的,想想还是发个博客好了,图片来源的博客找不到了,只能厚颜上个原创… FastDFS是一个开源的轻量级分布式文件系统 功能: 文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标, »

Redis分布式解决方案 (consistent hash)

传统的redis分布式算法:          比如现在有一个数据,使用redis存储时,会现将其进行hash计算,然后根据计算的hash值进行取模,根据取模的结果将数据缓存到与结果值对应的redis中。算法如下:   案例1:传统分布式算法        使用传统的redis分布式算法的结果如下:根据取模的结果,将数据存储到相应的redis中   现在由于业务的需求,我们需要添加一台red »

Hadoop 伪分布式 搭建配置详解

Hadoop 伪分布式 搭建配置详解 个人技能手册:https://github.com/DevilMafia/personal-skill-tree 环境: 虚拟机:VMware® Workstation 14 Pro 本机系统:windows 10 虚拟机系统:CentOS_6.6 JDK:1.8 Hadoop:2.7.4 第一步、配置 JDK 声明:过程忽略解压等步骤,只是对主要步骤进行 »

分布式存储赛道群雄逐鹿:Filecoin「友商」盘点

Crust 实现了去中心化存储的激励层协议,适配包括 IPFS 在内的多种存储层协议,并对应用层提供支持。同时 Crust 的架构也有能力对去中心化计算层提供支持,构建分布式云生态。 有市无币的 FIL 一路高涨。据 MyToken 数据显示,FIL 近 3 月涨幅达 308.19%。 在主网上线时间几经推迟后,据 Filecoin 最新的官方回应,「预产期」定在了 8 月31日——9月21日, »

分布式事务-2阶段提交

分布式事务 何为分布式事务? 随着互联网的发展与技术的更新,单机服务器已经不能满足业务的需求,所以就诞生了分布式的概念,既然有分布式的诞生,那么以前的事务的参与者,支持者也要考虑在不同节点上如何完整的运行。(分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。) 2阶段提交 以最常见的订单、支付系统来举例说明,首先先说明两个概念: 1、T »

storm 分布式 安装部署

1. 安装 jdk  python       .....省略  部署规则:          Nimbus    Supervisor   Zookeeper node1      1                                  1 node2                      1                  1 node3                  »

聊一聊如何用C#轻松完成一个SAGA分布式事务

背景 银行跨行转账业务是一个典型分布式事务场景,假设 A 需要跨行转账给 B,那么就涉及两个银行的数据,无法通过一个数据库的本地事务保证转账的 ACID ,只能够通过分布式事务来解决。 市面上使用比较多的分布式事务框架,支持 SAGA 的,大部分都是 JAVA 为主的,没有提供 C# 的对接方式,或 ... »

【分布式锁】06-Zookeeper实现分布式锁:可重入锁源码分析

前言 前面已经讲解了Redis的客户端Redission是怎么实现分布式锁的,大多都深入到源码级别。 在分布式系统中,常见的分布式锁实现方案还有Zookeeper,接下来会深入研究Zookeeper是如何来实现分布式锁的。 Zookeeper初识 文件系统 Zookeeper维护一个类似文件系统的数据结构 image.png 每个子目录项如NameService都被称为znoed,和文件系统一样, »

部署模型-电商网站后台分布式部署方案

1 交易系统(商品检索、购物车、订单、支付) 2 后台管理(商品发布、订单维护、物流维护) 3 用户系统(用户认证、实名注册、地址信息和用户信息、积分信用) 4 数据库(交易db、商品db、用户db、缓存) »

还记得那场关于“分布式锁”的经典论战吗?

锁的目的在于对于共享资源访问的一个互斥控制,单机场景下我们可以基于jvm的锁进行实现就ok了,分布式场景下的实现方案有很多,有人可能会想到基于redis实现。 有关Redis分布式锁的文章可谓多如牛毛了,这些文章的思路大体相近,给出的实现算法也看似合乎逻辑,但当我们着手去实现它们的时候,却发现如果你越是仔细推敲,疑虑也就越来越多。 关于Redis分布式锁的安全性问题,在分布式系统专家Martin »

zookeeper做分布式锁

试想一下如果有一百台机子,同时去修改一个配置文件,要保证这个文件不被乱写,这就需要用到分布式锁。     前面部署的zk集群现在可以用了,那么我们来看看分布式锁的原理:      分布式锁的思路 缺点:“惊群效应” 优化后的算法: 然后上代码: import java.util.Collections;import java.util.List;import java.util.conc »

XXL-JOB v2.0.0 发布,分布式任务调度平台

v2.0.0 Release Notes 1、调度中心迁移到 springboot; 2、底层通讯组件迁移至 xxl-rpc; 3、容器化:提供官方docker镜像,并实时更新推送dockerhub(docker pull xuxueli/xxl-job-admin),进一步实现产品开箱即用; 4、新增无框架执行器Sample示例项目 “xxl-job-executor-sample-frame »

TensorFlow单机与分布式总结

单机多GPU训练 先简单介绍下单机的多GPU训练,然后再介绍分布式的多机多GPU训练。 单机的多GPU训练, tensorflow的官方已经给了一个cifar的例子,已经有比较详细的代码和文档介绍,这里大致说下多GPU的过程,以便方便引入到多机多GPU的介绍。 单机多GPU的训练过程: 通俗解释: 老师给小明和小华布置了10000张纸的乘法题并且把所有的乘法的结果加起来,每张纸上有128道乘法题。 »

基于Maven部署的分布式服务介绍

1.背景 Lina解决了目前Jar包调用下的问题(启动慢、耦合度高、依赖传递、内存消耗大等问题) ,将原来在一个虚拟机中运行的程序,分散到了多个不同的虚拟机中运行,将原来的系统改造成了一个分布式服务系统。 一期在线上有点评这一个服务使用Lina来发布服务。Lina详细说明请参照(http://wiki.koubei.com/index.php/Rd/HuoNiao/Lina )。 在使用了之后我觉 »

01. SpringCloud实战项目-五分钟搞懂分布式基础概念

SpringCloud实战项目全套学习教程连载中 PassJava 学习教程 简介 PassJava-Learning项目是PassJava(佳必过)项目的学习教程。对架构、业务、技术要点进行讲解。 PassJava 是一款Java面试刷题的开源系统,可以用零碎时间利用小程序查看常见面试题,夯实Java基础。 PassJava 项目可以教会你如何搭建SpringBoot项目,Spring Clo »

用Apache Mesos打造分布式资源调度系统

译者 大愚若智 Netflix使用Apache Mesos运行了一系列批处理、流式处理,以及服务类型的工作负载。两年多来,我们创建了层出不穷的用例,例如实时异常检测、批处理作业的训练和模型构建、机器学习编排,以及基于Node.js的微服务。最近发布的Apache Mesos 1.0意味着这项技术已经成熟,相比我们首次使用该服务时已经有了巨大的改进。 我们最初使用Apache Mesos的动力主要在 »

构建你比较满意的分布式扫描平台(上)

0x00、前言 在云安全内部安全能力建设中,对云资产的端口扫描是一个必须要做的事情,因为开放一个端口对外提供一个服务都是扩大了您在云上攻击面。对于这种危险需要尽早的通知云上用户。那么如何对几万甚至几十万云主机做有效的端口扫描和精确的服务识别?这需要一套分布式的扫描系统来支撑。 0x01、实践的认知 在此之前,做了一些的小实践 方向3的代码如下: # coding=utf-8 #!/usr/env »