分布式文件存储存储相对于单机存储的挑战在哪

来源：蜘蛛抓取(WebSpider) 时间：2016-12-16 08:35 标签： 分布式块存储
分布式存储是相对于单机存储而言，之所以要分布自然是因为互联网时代信息数据大爆炸，单机已经难以满足大型应用的数据存储需求。
存储系统的关注点
关于存储系统，一般我们关注下面几个方面：
数据分布与负载均衡
数据存储的可靠性与一致性
数据访问性能
系统容错能力
系统扩展能力
在单机存储系统中有一种独立磁盘冗余阵列（RAID，redundant array of independent disks）技术，
是把相同的数据存储在多个硬盘不同地方的方法。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能。
这个技术基本解决了我们上面提到的前三点，数据可以通过磁盘阵列控制程序均匀分布在多个硬盘上，
以实现负载均衡，并通过冗余来保障可靠性。类似单机挂载多磁盘，数据在磁盘阵列上的冗余副本要保持一致也容易。
存储系统的访问性能基本受制于磁盘的性能，通过分散到多磁盘确实达到了提升性能的效果。
真正的问题难点在于后两点：
磁盘阵列解决了单一磁盘的脆弱性，但并不能提升存储子系统整体的可用性，或者说容错能力。
同理扩展能力同样受制于磁盘阵列的物理扩展槽的限制。
分布式存储的定义与分类
所以分布式存储应运而生，作为存储系统它同样需要面对上述问题。
先来看下它的定义：
分布式存储系统是大量普通 PC 服务器通过网络互联，对外作为一个整体提供存储服务。
从上面的定义看，更多时候我们把分布式存储作为一种服务面向各种不同的数据存储需求。
从数据存储模型上，我们可以进一步分类分布式存储服务为：
文件模型： 对应分布式文件系统，如：GFS、HDFS
关系模型： 对应分布式数据库系统，如：Google Spanner、Taobao OceanBase
键值模型： 很多 NoSQL 系统采用，如：Redis
分布式存储的得与失
面对单机存储系统面对两个难点，分布式存储系统通过集群方式扩展到几百甚至几千台集群规模来解决系统扩展能力，
通过软件层面对单机服务器的硬件容错能力大大提升了整体集群的容错能力。
在获得这些好处时，自然也有所牺牲，所谓有得必有失。
说到存储不得不提单机数据库存储的事务特性：A（原子性）C（一致性）I（隔离性）D（持久性），
而扩展到分布式存储后，受限于分布式 C（一致性）A（可用性）P（分区容忍性）理论，几乎不可能满足完整得事务特性。
各种分布式存储服务实现都对单机存储的事务特性作了权衡取舍，满足特定的服务场景需求。
另外分布式存储系统是基于网络互联的，所以除了基本得磁盘访问性能开销，还多了网络性能开销。
通常一般机械硬盘得平均寻道时间为 10ms，而机房内网得网络访问开销一般小于 0.5 ms，相对性能损失较小。
而原本由磁阵控制程序负责得数据在磁盘中的分布、负载均衡策略和一致性保障，
在分布式存储中都需要软件在整个机器集群层面去考虑，复杂度大大提高。
最近打算对后端分布式架构设计领域知识做一个梳理，形成一个完善的知识体系，本文算一个开始吧。
上面对分布式存储服务进行了总体综述，了解了分布式存储服务的分类及其架构设计的关注点。
后续将进一步展开，深入到具体类型的分布式存储服务架构设计要点与实现细节。
[1] 杨传辉. . 机械工业出版社（2013-09）, pp. 7-52
下面是我自己开的一个微信公众号 [瞬息之间]，除了写技术的文章、还有产品的、行业和人生的思考，希望能和更多走在这条路上同行者交流，有兴趣可关注一下，谢谢。
版权声明：本文为博主原创文章，未经博主允许不得转载。
阅读(...) 评论()&分布式存储与TDDL
秒后自动跳转到登录页
(奖励5下载豆)
快捷登录：
举报类型：
不规范：上传重复资源
不规范：标题与实际内容不符
不规范：资源无法下载或使用
其他不规范行为
违规：资源涉及侵权
违规：含有危害国家安全等内容
违规：含有反动/色情等内容
违规：广告内容
详细原因：
任何违反下载中心规定的资源，欢迎Down友监督举报，第一举报人可获5-10下载豆奖励。
视频课程推荐
分布式存储与TDDL
上传时间：
技术分类：
资源评价：
（0位用户参与评价）
已被下载&6&次
提纲：介绍一般性的存储知识。 ? 如何能够将单机存储在分布式存储中加以实现？ ? 协劣大家快速的从海量的存储引擎中选择适合自己业务特点的引擎？ ? 介绍TDDL在上述关键节点上的选择和思考 ? 切分经验
本资料共包含以下附件：
分布式存储与TDDL.pdf
51CTO下载中心常见问题：
1.如何获得下载豆？
1)上传资料
2)评论资料
3)每天在首页签到领取
4)购买VIP会员服务，无需下载豆下载资源
5)更多途径：点击此处
2.如何删除自己的资料？
下载资料意味着您已同意遵守以下协议：
1.资料的所有权益归上传用户所有
2.未经权益所有人同意，不得将资料中的内容挪作商业或盈利用途
3.51CTO下载中心仅提供资料交流平台，并不对任何资料负责
4.本站资料中如有侵权或不适当内容，请邮件与我们联系（）
5.本站不保证资源的准确性、安全性和完整性, 同时也不承担用户因使用这些资料对自己和他人造成任何形式的伤害或损失
下载1577次
下载1536次
下载2435次
下载2349次
下载1563次
相关专题推荐
磁盘阵列简称RAID，有“价格便宜且多
网络存储系统的搭建能够为我们带来极
VMware是提供一套虚拟机解决方案的软
从开发、测试、生产三部曲这样的运作
本专题为vmware中文视频教程，在线视
本专题介绍了weblogic服务器在企业应
Vmware View是Vmware的桌面和应用虚拟
vSphere不是一个单独的产品，它由一系
本专题全面深入讲解Windows Server 2
本专题收集了高俊峰老师讲解的系统集
IBM TSM 备份软件实战教学视频，包含
菜鸟腾飞安全网VIP_精通VMware虚拟机
2013年传智播客WebService视频教程，
Active Directory 实操作参考系列，本
服务器虚拟化技术以VMware公司的vSph
LoadRunner，是一种预测系统行为和性
意见或建议：
联系方式：
您已提交成功！感谢您的宝贵意见，我们会尽快处理分布式存储系统的一些理解和实践_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
分布式存储系统的一些理解和实践
||文档简介
总评分4.1|
浏览量15423
&&分​布​式​存​储​系​统​的​一​些​理​解​和​实​践
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩10页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢

我要回帖

更多关于 分布式块存储 的文章

 

随机推荐