您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
FCoE交换机VSAN模块命令行注册和配置保存的分析与实现.pdf62页
本文档一共被下载：
次 ,您可免费全文在线阅读后下载本文档
文档加载中...广告还剩秒
需要金币：100 &&
你可能关注的文档：
··········
··········
保密期限：
工程硕士研究生学位论文
至￡QE銮逸扭yS△丛槿迭金金短注
本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究
成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不
包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他
教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任
何贡献均已在论文中作了明确的说明并表示了谢意。
申请学位论文与资料若有不实之处，本人承担一切相关责任。
本人签名．型鲣
关于论文使用授权的说明
本人完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在
校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国
正在加载中，请稍后...VSAN系统中ESC协议与数据维护模块的分析与实现--《北京邮电大学》2010年硕士论文
VSAN系统中ESC协议与数据维护模块的分析与实现
【摘要】：存储区域网(Storage Area Network简称SAN)是指独立于服务器网络系统之外的高速光纤存储网络,这种网络采用高速光纤通道作为传输体,以FC协议作为存储访问协议。将存储系统网络化,实现真正的高速共享存储。
但SAN网络还是具有一定的缺陷,设备成本高,使用交换机和网卡及线缆的数量比较多,对应的设备投资及维护工作量都比较大,而且可扩展性比较差。为了解决这些问题,相应出现了虚拟SAN (VSAN)网络。VSAN是一种能够将存储网络化分成多个逻辑上独立互不干扰的SAN网络。利用VSAN,可以将数据的传输和存储隔离在存储网络中自己的SAN网络之内,而不会在其他SAN网络传输或存储。如果某个VSAN发生故障,其影响将只局限在这个SAN网络之中,而不会波及到其它SAN。VSAN能够以灵活、经济、有效和可管理的方式进一步扩展和保护SAN。VSAN克服了SAN网络的许多缺陷和不足,用VSAN实现存储整体性。
本文分析了VSAN网络中的重要组成部分——链路协商部分。链路协商是网络中各个交换机物理连接成功后必须进行的链路层的协商,只有链路协商成功后,终端才可以顺利访问和存储数据。本文重点讨论链路协商中的ESC(Exchange Switch Capabilities交换机能力交互)协议协商。介绍ESC协议内容、格式、协商过程等相关知识。ESC协议协商是指是在两个交换机之间交换厂商和协议信息的一种机制。本文实现通过ESC协议协商来判断VSAN网络中交换机端口是否具有VSAN功能,同时还给出了实现ESC协商过程所设计的接口,数据结构等相关信息。除此之外本文还介绍了数据链路维护模块的实现过程及其数据结构。链路协商成功后,端口和VSAN就具备了一定的对应关系,该关系是由数据链路维护模块管理的,例如在该模块中存储着一个端口都可以在哪些VSAN网络中使用等等。
【关键词】：
【学位授予单位】：北京邮电大学【学位级别】：硕士【学位授予年份】：2010【分类号】：TP333【目录】：
摘要4-6ABSTRACT6-10第一章 引言10-14 1.1 课题背景10-11 1.2 SAN和VSAN的区别11-12 1.3 课题任务12-13 1.4 论文结构13-14第二章 SAN和VSAN知识介绍14-32 2.1 SAN的体系结构14-22
2.1.1 SAN的组成设备16-18
2.1.2 光纤通道协议(FC协议)基础18-19
2.1.3 服务级别19-21
2.1.4 交换/序列(Exchange/Sequence)模块21-22 2.2 SAN的优势22-23 2.3 虚拟SAN(VSAN)体系结构23-30
2.3.1 VSAN的组成设备28
2.3.2 FCOE协议基础28-29
2.3.3 VSAN原理29-30 2.4 VSAN的优势30-31 2.5 小结31-32第三章 ESC协议分析32-47 3.1 VSAN网络中重要设备介绍32-33 3.2 VSAN网络中的协商33-34 3.3 VSAN网络内ESC协议的功能及其必要性34-35 3.4 ESC协商过程35-40 3.5 ESC帧格式介绍40-46
3.5.1 扩展头(Extended_Header)40-41
3.5.2 帧头(Frame_Header)41-42
3.5.3 数据域(DATA_Field)42-46 3.6 小结46-47第四章 ESC模块的设计与实现47-56 4.1 ESC功能模块组成47-53
4.1.1 ESC模块设计概述47-48
4.1.2 ESC模块子模块分解描述48-49
4.1.3 ESC模块功能概述49-52
4.1.4 接口描述52-53 4.2 ESC模块具体功能实现53-55
4.2.1 交换机发起端端口发起ESC协商请求的处理53
4.2.2 交换机响应端端口接收ESC协商请求的处理53-54
4.2.3 交换机发起端端口收到确认报文的处理54
4.2.4 交换机发起端收到拒绝报文的处理54-55
4.2.5 隔离端口收到报文的处理55
4.2.6 编码实现55 4.3 小结55-56第五章 链路协商后数据维护模块(VSANDATA模块)56-64 5.1 VSANDATA相关知识介绍56-58 5.2 VSANDATA的需求分析58-59 5.3 VSANDATA模块的实现59-61 5.4 VSANDATA模块对外提供的接口61-63 5.5 小结63-64第六章 总结64-65参考文献65-66致谢66
欢迎：、、)
支持CAJ、PDF文件格式
【参考文献】
中国期刊全文数据库
陈平仲;吕会红;;[J];中国现代教育装备;2007年10期
【共引文献】
中国期刊全文数据库
张清;何金伟;魏旭辉;;[J];安徽农业科学;2009年15期
聂影;;[J];安阳工学院学报;2008年02期
张吉赞,王恩波;[J];北方工业大学学报;2003年01期
张春青,张宏科;[J];北方交通大学学报;2003年03期
邵立,徐贵勇,黄曙光;[J];兵工自动化;2003年02期
倪一鸣;[J];兵工自动化;2003年03期
孙海峰;[J];兵工自动化;2005年04期
李伟;董冰;;[J];兵工自动化;2005年06期
雷维嘉,杜子兵;[J];重庆邮电学院学报(自然科学版);2003年04期
王祥;周安民;朱文成;;[J];成都信息工程学院学报;2008年06期
中国重要会议论文全文数据库
刘春光;李全钢;张海华;;[A];2011年河北省冶金信息化自动化年会论文集[C];2011年
汪成林;黄艺海;;[A];中国自动化学会控制理论专业委员会D卷[C];2011年
张欢;;[A];节能环保 和谐发展——2007中国科协年会论文集（一）[C];2007年
赵宇;池畅;孙妍;;[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集（上册）[C];2010年
吕小平;向健勇;黄河清;唐小峰;;[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年
雷鸣;;[A];中国计量协会冶金分会2011年会论文集[C];2011年
张亚魁;魏臻;刘征宇;;[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集（下册）[C];2009年
刘钊;张学军;;[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
任冀湘;;[A];2005年安徽通信论文集[C];2006年
中国博士学位论文全文数据库
朱畅华;[D];西安电子科技大学;2004年
高翔;[D];西北工业大学;2004年
刘瑞芳;[D];北京邮电大学;2006年
匡兴红;[D];上海交通大学;2008年
邓林;[D];合肥工业大学;2009年
陈祖云;[D];中国矿业大学;2009年
王蛟;[D];北京邮电大学;2008年
王玉海;[D];解放军信息工程大学;2008年
罗丹彦;[D];哈尔滨工业大学;2009年
林密;[D];北京邮电大学;2012年
中国硕士学位论文全文数据库
孟令君;[D];长春理工大学;2010年
侯宗仁;[D];大连理工大学;2010年
章毅;[D];辽宁工程技术大学;2009年
杨贵海;[D];大连海事大学;2010年
董娟;[D];哈尔滨理工大学;2010年
郑静;[D];电子科技大学;2010年
王晓玲;[D];浙江大学;2011年
乔飞;[D];电子科技大学;2011年
唐庆茂;[D];西安电子科技大学;2009年
黄超;[D];西安电子科技大学;2011年
【相似文献】
中国期刊全文数据库
李涛;[J];世界电信;2004年08期
陈平仲;吕会红;;[J];中国现代教育装备;2007年10期
周敏;[J];电子产品可靠性与环境试验;1999年05期
;[J];广播与电视技术;2003年04期
;[J];信息网络;2003年04期
;[J];电子商务世界;2002年04期
;[J];当代通信;2001年10期
;[J];当代通信;1999年07期
吴军;[J];光通信研究;1999年02期
;[J];电子商务世界;2002年10期
中国重要会议论文全文数据库
胡申江;;[A];2011年浙江省心电生理与起搏学术年会论文汇编[C];2011年
冯莉;冉玉琴;李宁;梁辰;马云;浦介麟;;[A];中国心脏大会（CHC）2011暨北京国际心血管病论坛论文集[C];2011年
张娜;闫承慧;栾波;李杰;张效林;韩雅玲;;[A];第十三次全国心血管病学术会议论文集[C];2011年
谭建成;;[A];第十二届中国小电机技术研讨会论文集[C];2007年
张娜;闫承慧;栾波;李杰;张效林;韩雅玲;;[A];中国心脏大会（CHC）2011暨北京国际心血管病论坛论文集[C];2011年
胡沁春;罗文钦;;[A];第十七次全国计算机安全学术交流会暨电子政务安全研讨会论文集[C];2002年
郑冕;彭宏;张玉华;;[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
白勇;朱清新;;[A];第15届全国信息存储技术学术会议论文集[C];2008年
周云;;[A];四川省通信学会2008年学术年会论文集[C];2008年
霍跃华;;[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年
中国重要报纸全文数据库
李志国;[N];中国计算机报;2004年
晓今;[N];计算机世界;2004年
本报记者 任续烨;[N];中国计算机报;2004年
思科系统公司技术营销工程高级经理
曹图强;[N];网络世界;2005年
Randall Birdsall/Edwin Mier 晓风 张欣 编译;[N];计算机世界;2004年
上海交通大学医学院附属瑞金医院心脏科
施仲伟　教授;[N];医药经济报;2009年
闻娜;[N];中国电子报;2005年
本报记者 孙红;[N];中国工业报;2009年
;[N];通信产业报;2003年
本报记者 李志国;[N];中国计算机报;2005年
中国博士学位论文全文数据库
何勇;[D];第四军医大学;2010年
李建华;[D];吉林大学;2010年
李昕;[D];北京交通大学;2010年
曲良东;[D];吉林大学;2010年
杨欣;[D];解放军信息工程大学;2010年
郑丽娜;[D];山东大学;2011年
肖凌;[D];华中科技大学;2009年
张建辉;[D];解放军信息工程大学;2009年
高峰;[D];北京邮电大学;2010年
王岩;[D];东北林业大学;2012年
中国硕士学位论文全文数据库
曲小飞;[D];北京邮电大学;2010年
王珏;[D];北京邮电大学;2010年
樊一麟;[D];北京邮电大学;2010年
钟桦;[D];北京邮电大学;2010年
张波;[D];北京邮电大学;2010年
盛理想;[D];北京邮电大学;2011年
王雨蔷;[D];北京邮电大学;2011年
黄睿;[D];北京邮电大学;2011年
王旭;[D];北京邮电大学;2010年
艾克宝;[D];北京邮电大学;2010年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 知识超市公司
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备74号FusionStorage--华为版VSAN点评 -- 高端存储知识 -- 传送门
大家周四好。先插播一下新闻。今天IBM发布了1Q14财报，我们看到硬件还是全线下滑，大机同比下滑40%，小机21%，X86服务器17%，存储23%。形势还是比较严峻的，大机的下滑超过西瓜哥预期。据说IBM中国区存储部门还会继续裁员，也不知道真假，不过，看这个业绩，有可能。周二我们登出董老师的块级虚拟化的技术白皮书后，有网友质疑RAID重构时间，这里董老师凌晨3点（敬业啊）做了一个答复。感觉大家可能在2TB硬盘是否存满数据，业务是否繁忙上考虑得不一样导致推导结果不一样：昨天还有一个网友发来一个华为的FusionStorage技术白皮书，让西瓜哥也点评一下这个产品。也是，华为版本的VSAN宣传也有很长时间了，但大家能够拿到的资料不多。西瓜哥原来也以为FusionStorage采用RAID 2.0+类似的技术，但看了白皮书才发现其实和华为的UDS(就是帮助发现上帝粒子的那个产品）更类似，采用了分布式哈希环HDT技术。由于相关资料太少，西瓜哥今天就把这个白皮书全COPY过来，愿意研究的仔细看看，不愿意看的直接跳到后面看西瓜哥的点评。-------------------------------华为FusionStorage技术白皮书文档版本 V1.1发布日期 1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、易管理、兼容性等方面详细介绍了华为公司FusionStorage产品的功能及特点，旨在突出FusionStorage产品独有的亮点、应用场景以及为客户带来的价值。2 简介/Introduction虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。华为分布式存储软件FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。3 解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。作为存放企业数据资产的存储系统，不但要满足业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。从IT业界发展来看，以下技术趋势正在影响存储行业的发展：l 虚拟化技术的广泛应用虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。与此同时，虚拟机应用给存储带来以下挑战：第一，相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；第二，采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；第三，单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标；第四，单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，这对传统受限于固定硬盘的RAID技术提出挑战；第五，虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。l 分布式存储技术的发展业界典型的分布式存储技术主要有分布式文件系统存储、分布式对象存储和分布式块设备存储等几种形式。分布式存储技术及其软件产品已经日趋成熟，并在IT行业得到了广泛的使用和验证，例如互联网搜索引擎中使用的分布式文件存储，商业化公有云中使用的分布式块存储等。分布式存储软件系统具有以下特点：第一，高性能：分布式哈希数据路由，数据分散存放，实现全局负载均衡，不存在集中的数据热点，大容量分布式缓存；第二，高可靠：采用集群管理方式，不存在单点故障，灵活配置多数据副本，不同数据副本存放在不同的机架、服务器和硬盘上，单个物理设备故障不影响业务的使用，系统检测到设备故障后可以自动重建数据副本；第三，高扩展：没有集中式机头，支持平滑扩容，容量几乎不受限制；第四，易管理：存储软件直接部署在服务器上，没有单独的存储专用硬件设备，通过WebUI的方式进行软件管理，配置简单。华为公司紧跟业界趋势，在充分掌握了用户需求的基础上推出华为FusionStorage分布式软件存储产品，该产品是专门为虚拟化与云计算环境而设计、面向一体化市场应用的新一代产品，融合了分布式哈希数据路由、分布式缓存、全局负载均衡、及多重数据保护等诸多存储技术，能够满足金融、电信、证劵、电力、石油等行业关键业务的需求，保证客户业务高效稳定运行的同时，提升业务的敏捷性与竞争力。3.1 产品形态介绍3.1.1 产品特点华为FusionStorage是一个分布式存储软件，在通用x86服务器上部署该软件把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。FusionStorage分布式存储软件系统具有如下特点：l 领先的分布式架构。FusionStorage存储软件的采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智能Cache等，这种架构使得整个存储系统没有单点故障。 l 高性能和高可靠性。FusionStorage存储软件在所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式Cache技术保证了高性能。FusionStorage支持多个数据副本，每个副本分配在不同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时FusionStorage的强一致性复制技术确保各个数据副本的一致性，一个副本写入，多个副本读取。l 并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高。l 易扩展和超大容量。FusionStorage的分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持非烟囱式超大容量扩展。l 计算存储深度融合。FusionStorage存储软件部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，天然支持计算和存储设备的高度融合。3.1.2 虚拟资源池FusionStorage把所有服务器的本地硬盘组织成若干个资源池，基于资源池提供创建/删除应用卷（Volume）、创建/删除快照等接口，为上层软件提供卷设备功能。FusionStorage资源池具有如下特点：l 每块硬盘分为若干个数据分片（Partition），每个Partition只属于一个资源池，Partition是数据多副本的基本单位，也就是说多个数据副本指的是多个Partition。l 系统自动保证多个数据副本尽可能分布在不同的服务器上（服务器数大于数据副本数时）。l 系统自动保证多个数据副本之间的数据强一致性。l Partition中的数据以Key-Value的方式存储。l 对上层应用提供卷设备（Volume），没有LUN的概念，使用简单。l 系统自动保证每个硬盘上的主用Partition和备用Partition数量是相当的，避免出现集中的热点。l 所有硬盘都可用作资源池的热备盘，单个资源池最大支持96块硬盘。图3-1 FusionStorage存储资源池3.1.3 功能框架FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：图3-2 FusionStorage功能模块存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。3.1.4 应用场景FusionStorage是一款为FusionCube量身定做的存储软件产品，尤其适合计算和存储融合的系统，例如华为FusionCube融合基础设施。传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠加了一层虚拟化软件。这种方式虽然可以提升资源利用率，但是由于系统的复杂性，并不能简化各类基础设施的运维成本。华为FusionCube真正实现了计算、存储和网络设备的深度融合，硬件设备与虚拟化软件平台的一体化。FusionCube采用FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池，对上层应用提供存储功能。FusionStorage在FusionCube场景中的上下文环境如下图所示：图3-3 FusionStorage上下文环境在FusionCube虚拟化平台中，FusionStorage替代了传统的外置存储设备。适合使用FusionStorage的应用场景：l VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。l 虚拟化环境混合应用。其典型特点是：容量共享需求明显、多应用混合负载、线性扩展。l OLAP应用。其典型特点是：大并发吞吐量，计算和存储带宽要求高。l OLTP应用。其典型特点是：IOPS并发度高。图3-4 FusionStorage应用场景3.2 产品特性介绍3.2.1 性能卓越FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage将服务器部分内存用作读缓存，NVDIMM用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升1~3倍，同时提供更大的有效容量。图3-5 FusionStorage计算和存储融合全局负载均衡FusionStorage的实现机制保证了上层应用对数据的IO操作均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局复负载均衡。第一，系统自动将数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点。第二，数据分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储FusionStorage支持为高性能应用设计的分布式SSD存储系统，拥有比传统的机械硬盘（SATA/SAS）更高的读写性能。华为SSD卡具有如下特点l 高带宽：采用PCIe 2.0 x8的接口，提供高达3.0GB的读/写带宽。l 高IO：4KB数据块，100％随机，提供高达600K的持续随机读IOPS和220K的持续随机写IOPS。FusionStorage分布式SSD存储系统通过以下措施增强了可靠性：l 内嵌的ECC检错/纠错引擎和RAID5引擎, 数据通道间形成二维的检错/纠错机制。l 内置DATA Scrubbing引擎定时检测存储数据，提前预防数据错误的产生。l 通道间使用Dynamic RAID算法，实现通道间的资源共享，确保在芯片坏块过多甚至是多个芯片故障的情况下均能正常工作。l 内部实现冷热数据分类与管理，配合先进的磨损算法，最大程度上提升回收效率，降低写磨损，从而提升SSD的使用寿命。图3-6 FusionStorage支持分布式SSD存储系统高性能快照FusionStorage提供了快照机制，将用户的逻辑卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据基于DHT机制，快照不会引起原卷性能下降。针对一块容量为2TB的硬盘，完全在内存中构建索引需要24MB空间，通过一次Hash查找即可判断有没有做过快照，以及最新快照的存储位置，因此效率很高。图3-7 FusionStorage快照高性能链接克隆FusionStorage基于增量快照提供了链接克隆机制，基于一个快照创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。FusionStorage支持1:256的链接克隆比，提升存储空间利用率。FusionStorage支持批量进行虚拟机卷部署，能够在秒级批量创建上百个虚拟机卷。克隆卷继承普通卷所有功能：克隆卷可支持创建快照、从快照恢复以及再次作为母卷进行克隆操作。图3-8 FusionStorage链接克隆高速Infiniband网络FusionStorage支持为高带宽应用设计的Infiniband网络，存储交换无瓶颈。l 56GbpsFDR InfiniBand，超高速互联。l 标准成熟多级胖树组网，平滑容量扩容。l 近似无阻塞通信网络，数据交换无瓶颈。l 纳秒级通信时延，计算存储信息及时传递。l 无损网络QOS，数据传送无丢失。l 主备端口多平面通信，冗余通信无忧。l 单口56Gbps带宽，完美配合极速SSD存储吞吐，性能无限。3.2.2 安全可靠集群管理FusionStorage分布式存储软件采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。集群内选举进程Leader，Leader负责数据存储逻辑的处理，当Leader出现故障，系统自动选举其他进程成为新的Leader。多数据副本FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。如下图所示，对于服务器Server1的磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1’，P1和P1’构成了同一个数据块的两个副本。图3-9 FusionStorage多数据副本数据一致性数据一致性的要求是：当应用程序成功写入一份数据时，后端的几个数据副本必然是一致的，当应用程序再次读时，无论在哪个副本上读取，都是之前写入的数据，这种方式也是绝大部分应用程序所希望的。保证多个数据副本之间的数据一致性是FusionStorage的重要特点，FusionStorage采用强一致性复制技术确保各个数据副本的一致性，一个副本写入，多个副本读取。FusionStorage还支持ReadRepair机制。Read Repair机制是指在读数据失败时，会判断错误类型，如果是磁盘扇区读取错误，可以通过从其他副本读取数据，然后重新写入该副本的方法进行恢复，从而保证数据副本总数不减少。快速数据重建FusionStorage内部具备强大的数据保护机制。数据存储时被分片打散到多个节点上，这些分片数据支持分布在不同的存储节点、不同的机柜之间，同时数据存储时采用多副本技术，数据会自动保存多份，每一个分片的不同副本也被分散保存到不同的存储节点上。在硬件发生故障导致数据不一致时，FusionStorage通过内部的自检机制，通过比较不同节点上的副本分片，自动发现数据故障。发现故障后启动数据修复机制，在后台修复数据。由于数据被分散到多个不同的存储节点上保存，数据修复时，在不同的节点上同时启动修复，每个节点上只需修复一小部分数据，多个节点并行工作，有效避免单个节点修复大量数据所产生的性能瓶颈，对上层业务的影响做到最小化。数据故障自动恢复流程如下图所示。图3-10 FusionStorage数据重建流程FusionStorage支持并行、快速故障处理和重建：l 数据分片在资源池内打散，硬盘故障后，可在资源池范围内自动并行重建。l 数据分布上支持跨服务器或跨机柜，不会因某个服务器故障导致的数据不可访问。l 扩容时可以自动进行负载均衡，应用无需调整即可获得更大的容量和性能。掉电保护系统运行过程中可能会出现服务器突然下电的情况，FusionStorage在内存中的元数据和写缓存数据会随着掉电而丢失，需要使用NVDIMM非易失内存来保存和恢复元数据和缓存数据。部署FusionStorage软件的每一台服务器上要求配备4G NVDIMM内存条，服务器掉电时会把元数据和缓存数据写入NVDIMM的Flash中，上电后又会把Flash中的数据还原到内存中。FusionStorage能够识别出系统中的NVDIMM内存，并把需要保护的数据按照内部规则存放在NVDIMM中中，以便提供掉电保护功能。图3-11 FusionStorageNVDIMM内存3.2.3 弹性扩展FusionStorage采用的分布式集群架构，天然支持无性能损耗的弹性扩展。DHT数据路由FusionStorage采用DHT（Distribute Hash Table，分布式哈希表）路由数据算法。每个存储节点负责存储一小部分数据，基于DHT实现整个系统的寻址和存储。DHT算法具有以下特点：l 均衡性(Balance)：数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。l 单调性(Monotonicity)：当有新节点加入系统中时，系统重新做数据分配，原来的数据存储位置不需要很大的调整。FusionStorage存储路由采用分布式哈希算法，使得存储系统具有如下特点：l 快速达到负载均衡：新加入节点只需要搬移很少部分数据分片即可达到负载均衡。l 数据高可靠：灵活配置的分区分配算法，避免多个数据副本位于同一个服务器、同一个磁盘上。图3-12 FusionStorageDHT数据路由平滑扩容节点FusionStorage的分布式架构具有良好的可扩展性，支持超大容量的存储：l DHT算法保证了扩容后不需要做大量的数据搬迁，可以快速达到负载均衡状态。l 扩展计算节点可以同步扩容存储空间，扩容后的系统仍旧是计算和存储融合的，非烟囱式扩展。l FusionStorage分布式系统的带宽和Cache都均匀分布到各个节点上，带宽和Cache不会随着节点的扩容而减少。图3-13 FusionStorage平滑扩容节点资源按需使用FusionStorage提供了精简配置机制，为用户提供比实际物理存储更多的虚拟存储资源。相比直接分配物理存储资源，可以显著提高存储空间利用率。采用分布式Hash技术，天然支持分布式自动精简配置(ThinProvisioning)，无需预先分配空间。精简配置(Thin Provisioning)无任何性能下降（IPSAN扩展空间时需要耗费额外的性能）。图3-14 FusionStorage自动精简配置3.2.4 管理简便自动化管理在FusionCube融合基础设施场景下，FusionStorage存储软件在出厂前已经做了预安装，在用户机房只需要根据实际情况调整IP配置就可以了。FusionStorage存储软件完成安装部署以后可以自动运行，不需要人工干预，系统缺省配置已经做了优化处理。FusionStorage软件进程包括：Manager、Agent、MDC、VBS和OSD。其中Manager和Agent共同完成OM功能，MDC、VBS和OSD共同完成存储功能。软件进程功能描述Manager告警、监控、日志、配置等OM功能，支持主备节点部署。Agent各节点的OM功能代理进程，部署在各节点上，每个节点部署一个进程。MDCMDC是存储管理集群，负责集群的状态控制。MDC管理集群部署在3个节点上，每个节点一个进程。VBSVBS是无状态机头集群，负责卷元数据的管理。每个服务器上部署一个VBS进程。OSDOSD对象存储设备，执行具体的IO操作。在每个服务器上部署多个进程，与磁盘一一对应，一块磁盘对应一个OSD。在FusionCube环境下，FusionStorage的部署如下图所示：图3-15 FusionStorage软件部署Web UI界面FusionStorage提供可视化的Portal界面，用户从Portal界面可以查看系统监控（KPI指标）、告警事件和存储池状态等，操作维护非常简单。下图显示了FusionStorage的存储池管理界面。图3-16 FusionStorageWeb UI界面3.2.5 兼容性硬件兼容性FusionStorage可以运行在华为自产的TecalRH2288和Tecal E9000等服务器上，也可以运行在第三方服务器上，支持设备利旧，盘活现有的资产，保护已有的投资。FusionStorage对硬件平台有如下基本要求：l FusionStorage运行在通用的X86服务器平台上。l FusionStorage采用分布式集群架构，最少需要三个服务器节点。l 集群内各服务器的硬盘数量必须相同，单个节点上支持6～12块硬盘。l 为保证服务器突然下电后，FusionStorage在内存中的元数据和缓存数据不丢失，每台服务器都需要配置4GNVDIMM内存条。l FusionStorage正常运行需要单个占用服务器物理内存大小为：4.7G+1.7G*N，（N是硬盘个数，取值范围：6～12），服务器的内存配置必须高于这个数值（还需要考虑分配给操作系统和应用软件的内存）。l 服务器需要两个网口支持双平面网络：管理平面和存储平面，其中存储平面带宽要求不低于10Gbps。Tecal RH2288V2是一款2U高度2路CPU的服务器，具有出色的扩展灵活性，更好的计算性能，企业级可靠性，适用性广泛。RH2288V2配置如下：l 2* Intel(R) Xeon E5-2600 CPUl 24个RDIMM/LRDIMM内存插槽l 12*3.5’+ 2*2.5’，or 8*2.5’，or 26*2.5’SAS/SATA硬盘，支持RAID0/1/5/10/50/6/60l 支持512MB/1GB Cache，电池/电容可选l 板载4个GE网口, 1个管理接口，6个 PCIe 插槽l 支持TPM、内置U盘/USBFlash卡l 2个冗余热插拔电源RH2288V2外观如下图所示：Tecal E9000（以下简称：E9000）是华为公司研发的一款机箱产品，提供12U空间，可安装华为E9000系列计算节点、业务处理节点、存储节点以及相应的资源扩展节点。E9000的主要特点：卓越性能l 可配置8个横插的全宽计算节点或者16个半宽计算节点，支持槽位拆分。l 半宽槽位最大支持2P+24DIMM的计算节点。l 全宽槽位最大支持4P+48DIMM的计算节点。l 单机箱支持32CPU/256core计算密度，最大12TB内存。l 背板最大交换容量5.76Tbps。融合架构l 计算、存储、交换、散热、供电模块化设计l 提供2S,4S计算节点动态扩展架构l 丰富的交换模块(GE、10GE、FC、FCoE、IB)，根据业务要求灵活配置E9000外观如下图所示：软件兼容性FusionStorage可以部署在华为FusionCompute虚拟化软件平台上；也可以部署在物理服务器的Linux操作系统上，支持业界主流Linux操作系统的主流版本：RedHat Linux 6.2。4 推广/Experience4.1 行业特点通过对重点行业重点客户的长期关注及需求收集整理，华为总结出重点行业客户的典型业务应用以及客户当前面临的问题与挑战。运营商l 客户的典型应用：云化的网管系统、综合营帐系统、综合增值业务等l 客户面临的问题与挑战：热点数据访问性能瓶颈，并发访问时核心业务性能的保障等政府行业l 客户的典型应用：社保、财政的容灾备份系统建设，OA、邮件等l 客户面临的问题与挑战：重点数据多份保存、容灾数据的安全性与一致性教育/医疗行业：l 客户的典型应用：医疗信息、医疗保障信息系统建设，数字图书馆建设，高性能计算等l 客户面临的问题与挑战：数据保存的安全性、存储平滑扩容问题金融行业：l 客户的典型应用：决策支撑系统、研发测试系统、交易数据等l 客户面临的问题与挑战：随机访问海量数据的性能瓶颈、数据安全性、存储平滑扩容问题能源/广电：l 客户的典型应用：MIS/ERP系统，OA、邮件系统、编辑播放系统等l 客户面临的问题与挑战：大流量、并发访问性能问题4.2 应对方案在深入研究客户的真实需求后，FusionStorage推出高性能、高密度、高可靠典型应用方案。高性能方案——满足不同性能需求应用系统的存储l 典型需求：数据库：结构化数据，对性能要求高，数据安全性稳定性要求高数据仓库：海量数据，数据ETL持续高并发IO，分析处理性能要求高邮件服务：并发随机性高，对存储性能要求高，数据安全性要求高视频存储：存储容量需求大，数据访问连续性强，持续带宽要求高l 方案要点：E9000服务器，支持56G Infiniband高速网络的配置SSD替代HDD作为存储设备FusionStorage存储软件，2个数副本计算节点和存储节点分开部署高密度虚拟机方案——可承载高密度虚拟机环境l 典型需求：大量虚拟机部署：随着计算虚拟化程度日益提高，大量非核心应用系统以及虚拟桌面均被部署到虚拟机中，虚拟机密度越来越高，对存储的容量、性能、扩展性要求也越来越高。l 方案要点：E9000服务器采用4路CPU的计算刀片E9000服务器配置大容量NL-SAS硬盘FusionStorage存储软件，2个数据副本。高可靠方案——数据容灾l 典型需求：数据安全性：数据集中存放在单一地点，当发生地震，水灾，火灾等地域性自然灾害，给数据造成无法恢复的损失。建立异地数据容灾中心，确保数据安全，当发生意外灾害后能快速恢复数据，将损失减少到最低。l 方案要点：FusionStorage存储软件，多个数据副本（根据实际需要调整副本数）。配置HyperDP数据备份系统。5 结论/Conclution华为公司始终致力于为用户提供高品质的存储产品及人性化的服务，FusionStorage产品始终秉承这一理念，在性能、功能、效率、可靠性等方面的设计充分满足用户需求，最大化提升用户价值。-------------华丽分界线-----------------------------看到这里，大家有没有被华为侃晕。什么，没看，直接跳到后面看点评来了，真是英雄所见略同，O(∩_∩)O哈！不过，西瓜哥点评之前，先解读一下什么是分布式哈希环DHT。华为宣布采用DHT技术的UDS产品帮助上帝粒子后，西瓜哥就看了很多DHT的资料，但一直搞不懂DHT有啥特点，我相信很多人也不懂。但DHT却是FusionStorage区别于其他VSAN技术的一大特点，不了解不行。但有一天，西瓜哥看了阿里人写的一本书，这5行字就解答了我很久以来的问题：如果大家还不理解，再看里面举的一个例子：大家如果感兴趣，建议购买这本书看看：一句话，DHT算法的特点是节点的增加和减少非常简单，只影响到相邻节点，使得采用DHT算法布局的存储可以轻松应对EB级别的数据，在互联网分布式存储中得到大量应用。好了，根据目前西瓜哥了解的情况，我们来点评一下华为的FusionStorage。首先说定位。感觉华为的FusionStorage定位比较高大上。你看，建议Infiniband，而且是目前最高速率56G的（虽然也支持以太网）。内存必须要NVDIMM（带电池保护的），闪存用PCIE卡。数据分布算法采用DHT。虽然白皮书里面也说支持第三方服务器，但据说目前主要出货还是配套华为的Fusioncube一体机，应用场合还是重点解决ERP系统的性能问题。因此，感觉华为的FusionStorage解决方案应该不便宜，和外面很多的VSAN重点是减低成本不同，感觉FusionStorage的重点是提高性能。另外，和VMWARE的VSAN不同的是VSAN只能在VM环境下使用，fusionStorage好像没有这个限制，因为一体机也可以不跑VM的。第二，我们看数据管理分布算法DHT。DHT适合大规模的场景，FusionStorage其实可以不需要这么大的扩展性，UDS使用DHT是合适的，特别是和IP硬盘配合使用。西瓜哥担心DHT的元数据太大，但看白皮书里面说2TB硬盘只需要24MB内存做索引，因此感觉还可以接受。这就使得未来FusionStorage有很大的想象空间，理论上支持EB级别数据也是可以的。第三，我们看FusionStorage和RAID 2.0+的关系。其实西瓜哥认为基本没有关系。因为RAID 2.0+是把所有的硬盘切成64M的CK，然后才针对CK做RAID。而FusionStorage，我分析应该是每个硬盘切成相同数量的partition，这些partition的大小可能是不相等的，因为硬盘的大小不一定相等。这些partition采用多副本技术进行跨服务器节点的数据保护。Partition采用DHT进行哈希分布，采用key-value的方式进行访问（有点对象存储的味道）。因此FusionStorage天然就支持ROW的快照和精简配置。总体来说，和RAID 2.0+没有关系，但都对硬盘进行了切块，然后进行分布式布局，因此都比较好避免了重构时间长和磁盘热点的问题。这个技术白皮书是去年的，内容有些旧。据说新版本已经支持同步远程复制这些高级别的容灾功能。不知道以后华为是否会采用FusionStorage推出自己的SDS产品，和自己的传统阵列竞争呢？其实，这块可以学习EMC，啥产品都有，让市场来选择。好，今天就分享到这里。明天见。