基于动态副本机制的web文件系统

发布时间：2017-09-18 07:45

  本文关键词：基于动态副本机制的web文件系统

  更多相关文章： 动态副本 web文件系统 负载均衡

【摘要】：随着web2.0时代的到来以及智能手机的普及,非结构化数据的生产变得容易,网络数据规模因此逐渐增大。网络应用通常采用web文件系统对大量的网络文件进行管理。在web文件系统中,网络文件被分散在不同的主机上,但是不同文件的访问频度却不尽相同,因此造成不同主机之间的负载不均衡现象,同时用户体验也随之降低。如何充分利用网络主机资源,降低负载不均衡现象,提高服务质量成为新的研究方向。本文提出改进的基于动态副本机制的web文件系统。通过动态副本技术动态的分配服务器资源,为访问量多的文件提供更多副本,一定程度做到负载均衡并提升系统性能,提高用户体验。主要内容如下：本文首先对动态副本技术进行了分析并根据应用场景进行优化。针对动态副本技术中的热点文件发现算法进行讨论,分析了算法在性能上的不足,以减少算法内存开销与降低运算复杂度为目的,通过分组机制、分散统计等办法对算法进行了优化。此外对动态副本技术中的调度策略进行说明,在工程中明确了主机角色,提出削弱两极负载差异的调度策略。然后将改进后的动态副本技术应用于web文件系统中。由于动态副本机制需要统计文件的访问频度并需要对副本作出调整,所以本文结合web开发技术在系统架构、系统元数据、系统调度策略,热点文件发现算法等方面给出了具体的设计方案。然后在web文件系统中,对过滤器,调度逻辑,业务逻辑等进行了编程实现。最后将改进后的web文件系统进行部署,并通过编写简单的测试工具完成了系统测试。通过测试发现,改进后的web文件系统能够支持动态副本机制,可以根据访问情况对文件副本做出调整,提升了系统性能。
【关键词】：动态副本 web文件系统 负载均衡
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333;TP393.09
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-17
• 1.1 研究背景12-13
• 1.2 研究现状13-15
• 1.3 论文组织结构15-17
• 2 WEB文件系统技术简介17-22
• 2.1 概述17
• 2.2 HTTP 协议17-18
• 2.3 SERVLET18-19
• 2.4 WEB容器19
• 2.5 JSP页面19-20
• 2.6 数据库20
• 2.7 分布式存储20-22
• 3 改进的动态副本机制22-29
• 3.1 概述22-23
• 3.2 热点文件发现算法改进23-27
• 3.2.1 分组机制23-24
• 3.2.2 分散统计24-25
• 3.2.3 数据采样25-26
• 3.2.4 窗口机制26
• 3.2.5 总结26-27
• 3.3 调度策略改进27-28
• 3.4 本章小结28-29
• 4 系统设计29-40
• 4.1 概述29
• 4.2 系统架构设计29-32
• 4.2.1 概述29
• 4.2.2 工作原理及模块划分29-31
• 4.2.3 app_server31
• 4.2.4 file server31-32
• 4.2.5 manager32
• 4.2.6 总结32
• 4.3 副本调度逻辑设计32-34
• 4.3.1 信息采集32-33
• 4.3.2 确定调度主机33
• 4.3.3 确定调度分组33
• 4.3.4 总结33-34
• 4.4 元数据结构设计34-36
• 4.4.1 整体数据结构34
• 4.4.2 主机元数据表34-35
• 4.4.3 分组元数据表35
• 4.4.4 文件元数据表35
• 4.4.5 总负载统计表35-36
• 4.4.6 热点分组统计表36
• 4.4.7 系统参数表36
• 4.5 核心功能逻辑设计36-39
• 4.5.1 app_server36-37
• 4.5.2 file server37-38
• 4.5.3 manager38-39
• 4.6 本章小结39-40
• 5 系统实现40-49
• 5.1 概述40
• 5.2 系统环境搭建40-42
• 5.2.1 概述40
• 5.2.2 Struts40
• 5.2.3 Tomcat40-41
• 5.2.4 Mysql41
• 5.2.5 Jdbc41-42
• 5.2.6 使用工具简介42
• 5.3 FILE_SERVER开发42-45
• 5.3.1 概述42-43
• 5.3.2 Action43-44
• 5.3.3 Filter44
• 5.3.4 工具类44-45
• 5.4 APP_SERVER开发45-46
• 5.4.1 概述45
• 5.4.2 上传引导action45-46
• 5.4.3 文件获取action46
• 5.5 MANAGER开发46-48
• 5.5.1 概述46
• 5.5.2 定时器46-47
• 5.5.3 热点分组管理类47-48
• 5.6 本章小结48-49
• 6 测试分析49-57
• 6.1 系统测试方案49-50
• 6.1.1 测试平台部署方案49
• 6.1.2 测试内容49
• 6.1.3 测试流程49-50
• 6.1.4 测试方法50
• 6.2 测试平台搭建50-51
• 6.2.1 软件硬件50
• 6.2.2 Tomcat配置50-51
• 6.2.3 Mysql安装51
• 6.2.4 Manager运行51
• 6.3 测试进程实现51-52
• 6.4 服务器独立访问测试分析52-54
• 6.4.1 端口8001的tomcat独立延迟测试52-53
• 6.4.2 端口8080的tomcat独立延迟测试53-54
• 6.5 参与调度测试分析54-55
• 6.6 结论55-57
• 7 总结与展望57-59
• 7.1 总结57
• 7.2 进一步工作57-59
• 参考文献59-62
• 作者简历及攻读硕士/博士学位期间取得的研究成果62-64
• 学位论文数据集64

【相似文献】

中国期刊全文数据库 前10条

1 徐莺,李永宁,曾曦;网络视频监控系统中文件系统的设计与实现[J];现代计算机(专业版);2002年12期

2 刘可嘉;梁阿磊;;实现实时FAT文件系统的一种简单方法[J];计算机工程与应用;2008年16期

3 卢萍;陈进才;;一种基于对象存储的文件系统的设计[J];计算机科学;2008年10期

4 李涛;梁洪亮;;具有事件恢复功能的文件系统的研究与实现[J];计算机科学;2009年03期

5 冯新国，徐秋元;基于文件系统的封锁机制[J];计算机工程与应用;1995年05期

6 高天真,卞立平;三种文件系统之剖析[J];市场与电脑;1998年12期

7 符碧丹,倪晓明;群集环境下的直接文件系统访问[J];四川通信技术;2001年02期

8 刺猬;文件系统全面介绍[J];电脑爱好者;2001年09期

9 ;文件、文件系统、文件库[J];电子科技文摘;2001年09期

10 曲东才;光盘文件系统标准[J];电脑技术;2002年09期

中国重要会议论文全文数据库 前10条

1 谢菲;钱曙霞;;并行文件系统技术在新华社奥运报道系统中的实现及应用[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

2 冯新国;陶志成;;基于文件系统的封锁机制[A];第十一届全国数据库学术会议论文集[C];1993年

3 仇建伟;郑红;;适用于视频文件系统的有效调度方法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

4 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

5 高杰;陆应华;陈世文;;基于文件过滤驱动的信息保护研究[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集（下册）[C];2010年

6 卢雪山;戴华东;颜跃进;;Ext文件系统检测和修复工具的研究与改进[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

7 郑思;杨尹;;Checksum技术在文件系统中应用的研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集（下册）[C];2009年

8 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

9 魏环宇;阳国贵;;一个基于数据库的文件系统(XFS)的设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

10 沈志荣;薛矛;薛巍;舒继武;;Corslet安全文件系统的分析和优化[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 谷治平;文件系统———结合实际重在内容[N];中国医药报;2003年

2 江苏 王志军;磁盘的文件系统[N];电脑报;2001年

3 张群英;超级文件系统规模再突破[N];网络世界;2006年

4 ;施乐公司推出顶级数码工程文件系统[N];网络世界;2000年

5 凡妮;IBM TotalStorage SAN文件系统实现数据共享[N];电脑商报;2004年

6 ;共享单一文件系统[N];网络世界;2005年

7 黑龙江 马宪廷;玩转文件系统格式转换[N];电脑报;2003年

8 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年

9 乐天邋编译;近距离观看Snow Leopard Server[N];计算机世界;2008年

10 ;集群储存技术解决“大”问题[N];计算机世界;2004年

中国博士学位论文全文数据库 前10条

1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年

2 谈华芳;基于共享对象存储设备的并行文件系统研究[D];中国科学院研究生院（计算技术研究所）;2005年

3 夏鹏;文件系统语义分析技术研究[D];华中科技大学;2011年

4 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院（计算技术研究所）;2006年

5 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年

6 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年

7 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院（计算技术研究所）;1999年

8 徐虎;基于SAN的安全单映像Cluster文件系统关键技术的研究[D];国防科学技术大学;2003年

9 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年

10 李庆虎;基于P2P架构的网格文件系统研究[D];清华大学;2004年

中国硕士学位论文全文数据库 前10条

1 刘佩;基于纠删码技术的HD_EC文件系统的设计与实现[D];曲阜师范大学;2015年

2 罗思斌;嵌入式Linux支持exFAT文件系统研究及移植[D];电子科技大学;2014年

3 陶涛;隐私信息保护系统的设计与实现[D];电子科技大学;2014年

4 毕宇;注册表文件系统的设计与实现[D];电子科技大学;2014年

5 丘文未;基于软硬件协同设计的闪存存储系统关键技术研究与实现[D];国防科学技术大学;2013年

6 赖尚校;基于ARM的嵌入式闪存驱动与UBIFS文件系统的分析与实现[D];浙江工业大学;2014年

7 王维;基于Linux的手持式UHF RFID读写器设计[D];济南大学;2015年

8 宋亚利;Btrfs文件系统自动化测试工具的设计与实现[D];吉林大学;2015年

9 梁钟丽;基于嵌入式平台的文件系统研究[D];大连海事大学;2016年

10 李吉乐;Linux文件系统性能优化技术的研究[D];中国石油大学(华东);2014年

，

本文编号：874285