云存储技术
云存储概述
存储历史
存储技术是计算机的核心技术之一,计算机的存储技术(如硬盘、网络存储虚拟化存储术)的总体趋势是存储容量和1O速度不断增加,如图10-1所示。随着信息技术的发展,存储行业涌现出新的存储技术,磁盘阵列如固态硬盘、云存储等。下面简要回顾一e下存储技术的重要历史。
硬盘光盘磁带设备第一台硬盘存储器。
世界上第一台硬盘存储器BM350(打孔设备RMAC诞生,当时它的总容量只有5MB,总共使用了50个直径为24英寸(1英寸≈存储容量23厘米)的磁盘。
图10-1存储技术的发展
RAID技术出现。1987年,加州柏克大学的人员发表了《磁盘阵列控制器研究》论文,正式提到了RAD磁盘阵列控制器,提出廉价的525英寸及3.5英寸的硬盘也能如大机器上的8英寸盘般提供太容量、高性能和数据的一致性,并详述了RAID1~5的技术。
SAN技术出现。194年,ANSI标准组织通过了第一个版本的光纤通道SAN,并迅速在数据苛刻型企业泛应用,而由此我们也正式迈入了网络存储的时代
存储的分类
DAS
DAS被定义为直接连接在各种服务器或客户端扩展接口下的数据存储设备,它依赖于服务器。
NAS
NAS 是网络附加存储(网络接入存储)的简称,是指通过网络交换机连接存储系统和服务器,建立专门用于数据存储的私有网络。用户通过 TCP/IP 协议访问数据,采用业界标准的文件共享协议。
SAN
SAN 是存储区域网络的简称,是指一种通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。
RAID
RAID级别比较
磁盘热备
热备份是指在建立RAD磁盘阵列系统的时候,将其中一个磁盘指定为热备磁盘,此热备磁盘在平常并不操作,当阵列中某一磁盘发生故障时,热备磁盘便取代故障磁盘,并自动将故南磁盘的数据重构在热备磁盘热备盘分为全局热备盘和局部热备盘。
1)全局热备盘:针对整个磁盘阵列,对阵列中所有RAID组起作用。
2)局部热备盘:只针对某一RAID组起作用
因为反应快速,并且快取内存减少了磁盘的存取,所以数据重构很快即可完成,对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言,热备份更是一项重要的功能,因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。
逻辑卷快照
分布式存储
1.分布式块存储
块存储将存储区域划分成固定大小的小块,是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过 SCSUSAS或 FC SAN与存储服务器连接,服务器直接通过 SCSISAS或FC协议控制和访问数据。块存储方式不存在数据打包/解包过程,可提供更高的性能。分布式块存储的系统目标是,为现有的各种应用提供通用的存储能力。
存储技术特点
- 基于传统的磁盘阵列实现,对外提供标准的FC或SCSI协议。
- 数据访问特点:延迟低、带宽较高,但可扩展性差
- 应用系统跟存储系统耦合程度紧密
- 以卷的方式挂载到主机操作系统后,可格式化文件系统,或以裸数据或文件系统的方式作为数据库的存储。
分布式文件存储
.
文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹,将整个分布式文件资源以统一的试图呈现给用户。 它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异,提供用户方便的管理资源的手段或统一的访问接口。
分布式文件系统的出现很好的满足互联网信息不断增长的需求,并为上层构建实时性更高,更易使用的结构化存储系统提供有效的数据管理的支持。在催生了许多分布式数据库产品的同时,也促使分布式存储技术不断的发展和成熟。
分布式对象存储
.
对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式,提供了基于对象的访问接口,有效地合并了NAS和SAN的存储结构优势,通过高层次的抽象具有NAS的跨平台共享数据和基于策略的安全访问优点,支持直接访问具有SAN的高性能和交换网络结构的可伸缩性。
各种存储技术对比
传统块存储与对象存储
.
在传统的存储系统中用文件或块作为基本的存储单位,块设备要记录每个存储数据块在设备上的位置;而在对象存储系统中,对象是数据存储的基本单元,Object维护自己的属性,从而简化了存储系统的管理任务,增加了灵活性,在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问该对象。
存储技术的发展趋势
存储虚拟化
存储虚拟化是目前以及未来的存储技术热点,它其实并不算是什么全新的概念,RAID、LVM、SWAP、VM、文件系统等这些都归属于其范畴。
存储的虚拟化技术有很多优点,比如提高存储利用效率和性能,简化存储管理复杂性,绿色节省,降低运营成本等。
固态硬盘
固态硬盘(SSD, solid state disk)是目前倍受存储界广泛关注的存储新技术,它被看作是一种革命性的存储技术,可能会给存储行业甚至计算机体系结构带来深刻变革。
SSD与传统磁盘不同,它是一种电子器件而非物理机械装置,它具有体积小、能耗小、搞干扰能力强、寻址时间极小(甚至可以忽略不计)、IOPS高、I/O性能高等特点。
重复数据删除
重复数据删除(Deduplication)是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。
信息呈现的指数级增长方式给存储容量带来巨大的压力,而dedupe是最为行之有效的解决方案,因此固然其有一定的不足,它大行其道的技术趋势无法改变。更低碰撞概率的hash函数、多核、GPU、SSD等,这些技术推动dedupe走向成熟,由作为一种产品而转向作为一种功能,逐渐应用到近线和在线存储系统。
SOHO
SOHO(Small office, home office)存储即家庭或个人存储。现代家庭中拥有多台PC、笔记本电脑、上网本、平板电脑、智能手机,这种情况业已非常普遍,这些设备将组成家庭网络。
ROBO
ROBO(Remote office, branch office)存储即企业远程或分支机构存储。ROBO存储正是为了应对这种基于互联网的协作式工作模式而产生的。ROBO存储的需求主要集中在数据同步、共享、分发、协作,传统的上传/下载模式文件服务难以满足这种需求,天然地需要基于互联网的广域分布式文件系统。
语义化检索
数据检索目前主要分为两类,一是基于文件名,二是基于文件内容。主流文件系统的数据检索都是基于文件名进行的,桌面搜索引擎则综合文件名和文件内容进行检索,前者遍历文件系统元数据,后者需要解析文件内容,它们都是通过关键字匹配来实现检索。显然,这两类检索的语义是非常有限的,与人类思维方式有着很大的区别。
存储智能化
对于存储系统来说,智能化代表着自动化、自适应、兼容性、自治管理、弹性应用,通过对系统的监控、分析和挖掘来发现数据应用的特点和使用者的行为模式并动态调整配置,从而达到最佳的运行状态。存储智能化可以分别在存储系统栈中的不同层次实现,包括磁盘、RAID、卷管理器、文件系统、NAS系统、应用系统,从而形成系统的存储智能化。