提升Web服务响应的Cache调度技术的研究与实现

发布时间：2017-09-08 11:03

  本文关键词：提升Web服务响应的Cache调度技术的研究与实现

  更多相关文章： Web Cache 调度技术 Web预取 日志分析 朴素贝叶斯算法

【摘要】：随着互联网技术的飞速发展以及网民数量的快速增加,网络传输的数据量呈指数级增加,导致了Web服务器过载以及用户使用体验下降,Web Cache置换技术与网页预取等调度技术成为了解决这一问题的主要方法。本文研究了Web Cache置换技术与Web预取技术,提出基于学习的Cache置换算法(LBR, Learning Based Repalcement)以及基于用户访问序列匹配的网页预取算法,并将二者有机结合,提出一种智能页面快速置换系统,并在Nginx服务器上实现。该系统主要由三个模块组成：日志处理模块、C ache置换模块和Web预取模块。(1)日志处理模块对用户历史访问日志分析,通过数据处理、用户识别、会话识别和路径填充这四个步骤,得到用户历史访问序列以及Web精确日志记录；(2)Cache置换模块使用日志处理模块产生的Web精确日志记录,通过朴素贝叶斯算法中的贝努利模型分析处理,得到Cach e存储器里Web对象被再次访问到的权重,并形成权重表。当Cache置换模块接收到置换命令时,就会根据权重表删除那些权重较低的Web对象,直到释放了占Cache存储器5%内存大小的空间；(3)Web预取模块使用日志处理模块产生的用户历史访问序列,并用WAP树保存,使用用户历史访问序列与用户当前的访问序列进行匹配,将匹配到的Web页面预取到Cache存储器内。最后,通过实验对Web预取算法中的预取阈值进行了分析,计算了LBR算法的命中率HR以及字节命中率BHR。比较了系统开启Cache与关闭C ache之间的性能差异,通过性能测试,给出了智能页面快速置换系统的性能指标。
【关键词】：Web Cache 调度技术 Web预取 日志分析 朴素贝叶斯算法
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333;TP393.09
【目录】：

• 摘要4-5
• Abstract5-8
• 专用术语注释表8-9
• 第一章 绪论9-12
• 1.1 课题的研究背景9-10
• 1.2 课题的研究内容10-11
• 1.3 论文的组织结构11-12
• 第二章 Web Cache优化的概念与分析12-24
• 2.1 Web服务工作原理分析12-15
• 2.1.1 Web工作流程12-13
• 2.1.2 Web对象访问特征13-15
• 2.2 Web Cache主要技术15-18
• 2.2.1 Web Cache思想15-16
• 2.2.2 Web预取工作原理16-17
• 2.2.3 Web Cache的性能指标17-18
• 2.3 置换算法技术的研究18-22
• 2.3.1 基于访问时间间隔的置换算法19
• 2.3.2 基于访问次数的置换算法19-20
• 2.3.3 基于网页大小的置换算法20
• 2.3.4 基于Web对象价值函数模型的置换算法20-21
• 2.3.5 算法结果对比分析21-22
• 2.4 预取技术的研究22-23
• 2.4.1 基于页面链接的预取算法22
• 2.4.2 基于用户访问序列匹配的预取算法22-23
• 2.4.3 基于Web对象热度的预取算法23
• 2.5 本章小结23-24
• 第三章 智能页面快速置换系统概要设计24-52
• 3.1 需求分析24-26
• 3.2 设计思路26-27
• 3.3 日志处理模块设计27-37
• 3.3.1 Web日志介绍28
• 3.3.2 Web日志处理流程28-37
• 3.4 Cache置换算法分析37-46
• 3.4.1 Cache置换算法问题描述37-39
• 3.4.2 Cache置换算法设计39-40
• 3.4.3 朴素贝叶斯算法40-41
• 3.4.4 置换模块结构41-42
• 3.4.5 Web日志学习42-45
• 3.4.6 LBR算法的置换策略45-46
• 3.5 预取算法分析46-50
• 3.5.1 网页预取算法原理46-47
• 3.5.2 网页预取算法设计47-50
• 3.6 智能页面快速置换的工作流程50-51
• 3.7 本章小结51-52
• 第四章 智能页面快速置换系统详细设计52-79
• 4.1 服务器选择52-60
• 4.1.1 Nginx服务器介绍52-53
• 4.1.2 Nginx Cache结构53-57
• 4.1.3 Nginx Cache实现流程57-60
• 4.2 Cache监视器的实现60-61
• 4.3 日志处理模块详细设计61-64
• 4.4 Cache置换模块详细设计64-70
• 4.4.1 Web日志学习方法64-69
• 4.4.2 LBR算法在Nginx服务器上的实现69-70
• 4.5 预取模块详细设计70-73
• 4.5.1 建立WAP历史访问序列树70-71
• 4.5.2 序列匹配71-72
• 4.5.3 预取网页72-73
• 4.6 各模块之间的运行调度73-74
• 4.7 模块之间的通信机制设计74-78
• 4.8 本章小结78-79
• 第五章 实验以及结果分析79-93
• 5.1 实验平台79
• 5.2 实验环境搭建79-82
• 5.3 日志处理82-85
• 5.4 网页预取算法实验85-88
• 5.5 Cache置换算法实验88-89
• 5.6 系统性能实验89-92
• 5.7 本章小结92-93
• 第六章 总结与展望93-94
• 参考文献94-96
• 致谢96

【相似文献】

中国期刊全文数据库 前10条

1 刘美华,古志民,曹元大;Load Balancing Algorithm for Cache Cluster[J];Journal of Beijing Institute of Technology(English Edition);2003年04期

2 赵学梅,叶以正,李晓明,时锐;一种低功耗高性能的滑动Cache方案[J];计算机研究与发展;2004年11期

3 ;Design and Implementation of Hierarchy Cache Using Pagefile[J];Wuhan University Journal of Natural Sciences;2004年06期

4 VioLin;高容量L2Cache=高性能吗[J];电脑应用文萃;2004年10期

5 VioLin;电脑设备加速之Cache谈[J];电脑应用文萃;2004年11期

6 杜红燕,田兴彦,田新华;一种新颖的软件可控Cache优化方法[J];计算机工程与应用;2005年21期

7 ;A Novel Cache Invalidation Scheme for Mobile Networks[J];Wuhan University Journal of Natural Sciences;2006年02期

8 唐双燕;杨云仙;刘伟;;IA-32CPU Cache的一种特殊应用[J];软件导刊;2006年15期

9 杨君;李曦;仲力;周学海;;一种新型的嵌入式X路组相联cache结构[J];中国科学技术大学学报;2007年02期

10 赵昊翔;;从程序员的角度看Cache[J];程序员;2008年09期

中国重要会议论文全文数据库 前10条

1 所光;杨学军;;双核处理器性能最优的共享Cache划分[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年

2 石文强;倪晓强;金作霖;张民选;;Cache动态插入策略模型研究[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集（B辑）[C];2011年

3 汪腾;杨少军;;一种高效的指令Cache的结构[A];中国声学学会2001年青年学术会议[CYCA'01]论文集[C];2001年

4 ;Application of cache in Data Access Performance Optimization[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

5 李凡;李建中;何震瀛;;XML数据Cache策略研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

6 ;Research on WEB Cache Prediction Recommend Mechanism Based on Usage Pattern[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

7 宋杰;栾影;王广奇;于戈;王大玲;;OR-Cache:一种有效的对象-关系映射模型[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

8 张承义;郭维;周宏伟;;Cache漏流功耗的自适应优化:动态容量调整[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集（B辑）[C];2011年

9 郑涵;吴英;丁晓东;乐嘉锦;;基于Web的个性化智能Cache库[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

10 周旋;冯玉才;李碧波;孙小薇;;多服务器DBMS的Cache管理[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年

中国重要报纸全文数据库 前10条

1 上海 李超;什么是Cache[N];电脑报;2001年

2 徐春梅;国际品牌进入中国：适应是关键[N];中国经营报;2006年

3 刘昌勇;小缓存里的大学问[N];中国电脑教育报;2004年

4 超频者;K7-650（0015）最新实超报告[N];大众科技报;2000年

5 ;阿萌小辞典[N];电脑报;2004年

6 山东 黄家贞;富有个性的离线浏览器——CacheX[N];电脑报;2001年

7 中国计算机报测试实验室 王炳晨;Duron抵京，Thunderbird争宏[N];中国计算机报;2000年

8 广东 李锋;妙用 Cache 优化 Windows 2000[N];电脑报;2001年

9 岩公;电信网加速不难[N];中国计算机报;2003年

10 北京共创开源软件股份有限公司 董孝峰;共创NC的设计与实现[N];中国计算机报;2004年

中国博士学位论文全文数据库 前10条

1 黄安文;面向延迟优化的多核处理器Cache数据管理机制研究[D];国防科学技术大学;2013年

2 张轶;多核实时操作系统关键技术研究[D];东北大学;2014年

3 郑重;异构众核体系结构Cache功耗和性能优化关键技术研究[D];国防科学技术大学;2014年

4 周宏伟;微处理器中Cache漏流功耗的体系结构级优化技术研究[D];国防科学技术大学;2007年

5 田新华;面向性能优化的压缩cache技术研究[D];国防科学技术大学;2007年

6 陈黎明;嵌入式微处理器中动态可配置Cache结构的研究[D];华中科技大学;2009年

7 付雄;利用程序分析和优化提高Cache性能[D];中国科学技术大学;2007年

8 贾小敏;多核处理器片上Cache访问行为分析与优化机制研究[D];国防科学技术大学;2011年

9 唐轶轩;面向多线程应用的Cache优化策略及并行模拟研究[D];中国科学技术大学;2012年

10 项晓燕;体系结构级Cache功耗优化技术研究[D];浙江大学;2013年

中国硕士学位论文全文数据库 前10条

1 舒晰;支持多媒体计算的可重构Cache研究与设计[D];湖南大学;2008年

2 杨向峰;一种32位DSP cache的设计与验证技术研究[D];江南大学;2008年

3 苏小昆;基于Tournament Caching的低功耗动态可重构Cache研究[D];湖南大学;2009年

4 郝玉艳;嵌入式系统中低功耗Cache的研究与设计[D];湖南大学;2009年

5 潘丽君;动态二进制翻译器中Code Cache管理策略的研究与分析[D];上海交通大学;2009年

6 刘彬;基于路暂停方法的高性能低功耗Cache研究[D];湖南大学;2007年

7 彭方;路预测与可重构Cache的自适应低能耗算法研究[D];湖南大学;2008年

8 胡涛;面向存储器完整性验证的Cache设计[D];华中科技大学;2011年

9 刘清;嵌入式系统中低功耗可重构Cache的研究与设计[D];湖南大学;2012年

10 李冬妮;嵌入式系统中低功耗Cache的重构技术研究[D];湖南大学;2012年

，

本文编号：813632