面向海量数字资源管理的FC-SAN性能分析与监测

发布时间：2020-08-03 10:08

【摘要】： 信息爆炸为海量数字资源管理带来的挑战之一就是海量信息的存储问题。以FC-SAN为代表的网络化存储为该挑战提供了新的解决途径。海量数字资源管理的一个典型应用就是大型数字图书馆。FC-SAN系统作为存储基础设施其性能在很大程度上影响着整个数字图书馆应用在访问性能和服务质量上的表现。然而由于组成结构复杂等诸多因素,致使FC-SAN系统性能的有关研究仍处于初级阶段,从理论到工具都十分欠缺。本论文主要致力于解决这一领域中最高的一个层次——FC-SAN系统性能分析和监测的问题,论文的主要内容如下: 通过回顾FC-SAN的典型组成,给出FC-SAN性能分析模型的整体抽象及其适用范围,并在介绍每一组成的运作技术的基础之上给出每一组成的模型抽象与数学描述——即SANMO2模型方法;并通过实例说明了模型的应用与实施方法,对比实例的模型验证结果显示其最大误差率不超过28%。在此基础上,利用该分析模型预测出FC-SAN系统实例在几种典型工作负载下瓶颈会出现在不同位置这一事实,从另一个角度说明了FC-SAN系统性能分析的必要性;并在定位瓶颈的基础上,利用该模型讨论了瓶颈的缓解,提出了次瓶颈(簇)的概念,指出:对存在次瓶颈的系统,必须同时增加所有属于次瓶颈簇的部位的系统资源,才能对系统的性能改善起到有效作用。 基于上述工作,提出一种系统性能监测方法。该方法较之主流的带内方法、带外方法,具有实施代价小、对被监控系统本身影响小、较为独立和公正、相对健壮等优点。由于该方法的有效性很大程度上依赖于分析模型的有效性,具体而言主要包括分析模型的扩展能力以及分析模型的精度。因此本文将SANMO2模型在部分随机I/O、读写请求混合、阵列控制器缓存使能等方面进行了扩展;并结合Round现象为模型进行了校正,同时讨论了校正后模型的适用范围,在该范围内,模型的精确程度提高了近30%(最大误差率降低约8%)。 作为对于分析方法的补充,最后,本文提出一种可以对整个FC-SAN系统进行性能仿真的MMQ模型,用于不同的FC-SAN实例。通过例子,本文还对该模型的仿真实现以及仿真结果的分析和评价进行了说明。
【学位授予单位】：清华大学
【学位级别】：博士
【学位授予年份】：2006
【分类号】：TP333
【图文】：

图 1.2： FC-SAN 实例数字图书馆中 FC-SAN 性能管理的必要性图 1.2 的实例中可以看到：FC-SAN 中存储设备、服务器、网络连都是可以自由配置和组合的。不同的应用，对 FC-SAN 中这三个一样；随着时间的推移，同一应用对这三个部分的需求也会改变部分还是相互制约的。例如利用 FC-SAN 作为基础设施为数字图ok 服务提供支持，如果主要存储资源的内容是教学参考书，其应用户集中的（往往也是顺序的）访问少量 E-book 资源；如果主要普通泛读材料，其模式是少量用户间或分散的随机访问大量的 E者服务器配置相对较高、存储设备配置相对较低，后者的存储设高、服务器配置相对较低。随着用户量的增加和存储资源的积累储资源的配置可能会不断的扩充，扩充到一定的阶段，网络连接瓶颈，也需要调整其配置。因此，结合应用的特点合理地配置这

图 1.3： FC-SAN 系统性能管理的三个层次FC-SAN 系统资源管理：即对当前 FC-SAN 系统中所有的设备细的动态清单管理。这一层次是所有其他后续层次工作的重要基首先搞清楚整个 FC-SAN 系统中资源的详细情况，才可能进一步管理和监控。该清单主要包括当前系统中所有设备资源的数量、各个资源之间的拓扑连接，虚拟单元的划分、以及彼此之间所有存储空间的使用情况等。因为 FC-SAN 系统实例会随着应用需要部或者缩减，各部分的连接情况也会人为或意外变动，一些资源会随着时间发生改变，因此该清单管理必须是动态维护的。对于的系统来说，该层次的管理可以靠人工周期性的清理和检查系统于规模较大、承载业务较多的系统来说，该层次的管理如果只依时劳力，还可能出错。因此，需要专业的管理工具通过设备自动踪扫描等技术来自动的维护这个动态的资源清单。因为这类 FC管理工具需要与设备对话，而在该领域目前又尚无相关的标准，

FC-SAN的典型组成

【相似文献】

相关期刊论文 前10条

1 华山;;世界数字图书馆探宝[J];黄金时代(学生族);2009年09期

2 ;新研究:图书馆迎来数字图书馆的同时面临预算约束[J];现代图书情报技术;2011年05期

3 傅晨琦;叶辉;;杭州数字图书馆率先实现网站、手机、电视“三网融合”[J];公共图书馆;2011年01期

4 宗和;;全国图书馆藏书一“网”可查[J];公共图书馆;2011年01期

5 李连会;;浅论传统图书馆的数字化发展趋势[J];中国科教创新导刊;2011年17期

6 ;时事[J];黄金时代(学生族);2009年06期

7 员贵云;;中小学数字图书馆在教学中的应用案例[J];中国现代教育装备;2011年16期

8 张夥夥;;云计算系统在数字图书馆中的应用[J];信息技术;2011年08期

9 董文敏;;现代公共图书馆的数字资源建设探讨[J];佳木斯大学社会科学学报;2011年04期

10 ;IEEE与Access Innovations合作对Xplore数字图书馆进行重新索引[J];现代图书情报技术;2011年05期

相关会议论文 前10条

1 刘颖;;论数字图书馆的信息构建[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 郭启智;;关于数字图书馆有关问题的探讨[A];山西省科学技术情报学会学术年会论文集[C];2004年

3 符翠;;数字图书馆建设探讨[A];新环境下图书馆建设与发展——第六届中国社区和乡镇图书馆发展战略研讨会征文集（下册）[C];2007年

4 王爱华;张铭;陈捷;杨冬青;唐世渭;;基于形式本体的数字图书馆内容元数据的创建[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

5 高翔;;浅谈网站模式下的数字图书馆资源建设[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

6 喻浩;潘薇;;数字图书馆支撑技术及其发展[A];数字图书馆资源建设与发展学术研讨会暨中国农学会农业图书馆分会理事工作会议会议资料[C];2007年

7 潘淑春;喻浩;;数字图书馆建设及其运行模式研究[A];数字图书馆资源建设与发展学术研讨会暨中国农学会农业图书馆分会理事工作会议会议资料[C];2007年

8 林英;;谈谈中国数字图书馆的研究、开发与建设[A];福建省图书馆学会2002年学术年会论文集[C];2002年

9 延宏;;数字图书馆:服务如何个性化[A];新观点新学说学术沙龙文集24：数字时代图书馆的创新与共享[C];2008年

10 来雪玲;;数字图书馆的定位与对策[A];图书馆与西部大开发[C];2002年

相关重要报纸文章 前10条

1 吴小宁（作者单位：蚌埠市图书馆）;数字图书馆浅谈[N];安徽日报;2000年

2 ;什么是数字图书馆[N];中国妇女报;2001年

3 靳红;世纪超星参与建设数字图书馆[N];人民公安报;2000年

4 杨健;全球最大中文数字图书馆开馆[N];人民日报;2003年

5 刘立玲;扫描仪为数字图书馆奠基[N];人民邮电;2001年

6 静文;这个数字图书馆好“听”[N];中国新闻出版报;2004年

7 本报记者 延宏;数字图书馆：服务如何个性化[N];科技日报;2008年

8 本报记者 洪黎明;数字出版与数字图书馆的互动[N];人民邮电;2008年

9 记者 姚立;联合国教科文组织正式推出“世界数字图书馆”[N];光明日报;2009年

10 关月;印度建传统知识数字图书馆[N];健康报;2009年

相关博士学位论文 前10条

1 于晓燕;基于网格的数字图书馆模式构建研究[D];南开大学;2010年

2 周丽霞;数字图书馆版权获取研究[D];吉林大学;2011年

3 李超;面向海量数字资源管理的FC-SAN性能分析与监测[D];清华大学;2006年

4 孙坦;数字图书馆理论与发展模式研究[D];中国科学院文献情报中心;2000年

5 关欣;数字图书馆知识管理研究[D];吉林大学;2010年

6 许增福;DL环境下的信息资源管理及知识发现研究[D];哈尔滨工程大学;2005年

7 杜文华;本体的构建及其在数字图书馆中的应用研究[D];武汉大学;2005年

8 卓文飞;中国农业数字图书馆信息集成服务系统研究[D];中国农业科学院;2008年

9 韩毅;语义网格环境下数字图书馆知识组织策略与应用研究[D];吉林大学;2008年

10 牟冬梅;数字图书馆知识组织语义互联策略及其应用研究[D];吉林大学;2009年

相关硕士学位论文 前10条

1 罗宏;数字图书馆著作权风险规避研究[D];四川大学;2004年

2 罗龙艳;数字图书馆资源主题信息门户的设计与实现研究[D];四川大学;2004年

3 董正伟;Google数字图书馆所引发的著作权问题思考[D];中国政法大学;2011年

4 田艳芳;数字图书馆中数据预处理子系统的设计与实现[D];国防科学技术大学;2001年

5 戴洪霞;数字图书馆信息资源建设研究[D];东北师范大学;2002年

6 阚忠良;数字图书馆中基于结构和内容的文本信息检索技术的研究[D];黑龙江大学;2002年

7 贺玲玲;数字图书馆运行机制与管理模式研究[D];国防科学技术大学;2003年

8 曹树新;图书馆自动化管理信息系统[D];大连理工大学;2005年

9 李东涛;数字图书馆环境下的著作权问题研究[D];中国政法大学;2005年

10 辛霄恩;网络文献数字化方案[D];华东师范大学;2001年

本文编号：2779482