分布式数据缓存技术的研究与应用
发布时间：2021-11-06 04:35
随着互联网的普及,越来越多的用户通过互联网获取信息和服务,在现代企业互联网应用面对大量请求时,为了减少用户请求的延迟等待时间,减轻数据库服务器端的负载,通常引入数据缓存系统。数据缓存系统能够有效减少数据库服务器端的访问负载量,降低用户请求的延迟等待时间,提高应用的整体性能。近年来,出现了很多开源缓存系统,但这些缓存系统在数据冗余备份和失败恢复方面都存在一定的不足,而商用缓存系统不但费用高,而且不透明,不能以最有效率的方式使用。因此,本文结合某机票查询网站项目的实际需求,设计并实现了一个具有数据冗余备份和失败恢复机制的分布式数据缓存系统。首先,本文对分布式缓存技术展开深入的研究,具体包括：缓存拓扑结构、数据分布模式、缓存同步策略、缓存替换算法、以及分布式缓存协议。然后对分布式数据缓存系统的重要部分展开深入分析,通过分析一致性哈希算法,设计了一种基于虚拟节点一致性哈希算法的数据分布模式,并在该数据分布模式下,基于JGroups技术开发了一套通信协议,用于缓存节点间通信；分析影响缓存系统性能的因素和传统的缓存替换算法,针对机票数据信息的特点,设计了一种缓存机票数据时采用的替换算法,通过日志模...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
服务器端缓存结构
户一般需要等待较长的延迟时间得到查询结果，用户体验非常不好，为了减轻数据库服务器端的负载量和降低用户查询机票信息时的延迟时间，提高整个系统在处理大量并发请求时的性能和用户的体验，把数据缓存系统引入到该网站的系统架构中，图4.1显示了在该网站架构中加入数据缓存系统后的系统应用分层架构图，在该架构中，数据缓存系统部署在应用服务器集群上，即在应用程序层缓存数据库的数据，首次对来自客户端的数据请求，需要到数据库服务器上读取数据，同时把数据放入缓存系统中，如果下次有相同的数据请求到达，就直接从缓存系统中返回结果，减少了客户端的延迟等待时间，也减轻了数据库服务器端的负载，从而有效地提高了系统的整体性能。貂荡貂Web服务器集群应用服务器集群图4.1应用架构图 Fig.4.1APPlicationarehiteeturediagram根据该网站项目的实际需求，其网站系统架构中的缓存系统应具有数据冗余备份和失败恢复机制。近年来，出现了不少开源缓存产品，如Memcaehed
4.2系统拓扑结构设计本文设计的分布式数据缓存系统采用Peer一to一Peer的拓扑结构，该拓扑结构的架构如图4.2所示，在该结构下，每台缓存服务器既充当服务器端角色也充当客户端角色，这种结构具有动态节点发现的特征，整个缓存系统有更好的可扩展性。本文设计的分布式数据缓存系统是要具有失败恢复功能的，这体现了缓存系统应具有较好的可伸缩性，另一方面，本缓存系统是以某机票查询网站项目为依托的，在系统整个架构中，缓存系统主要用来保存那些不是频繁变化的数据，这也是Peer一to一Peer拓扑结构的最佳应用场2鉴「习。图4.2系统拓扑结构 Fig.4.2SysterntoPologystrueture
【参考文献】：
期刊论文
[1]基于JGroups的分布式缓存的设计与实现[J]. 肖祎,方钰. 计算机应用与软件. 2011(02)
[2]Web缓存的一致性策略研究分析[J]. 党寿江,刘学,曾学文. 微计算机信息. 2010(33)
[3]基于预测的Web缓存替换算法[J]. 韩向春,田玉根. 计算机工程与设计. 2010(01)
[4]代理缓存替换一致性算法的研究[J]. 韩向春,边玮,沈峰,樊书娟. 计算机工程与设计. 2009(11)
[5]一种基于DHT的Web缓存共享方法[J]. 刘建,孙晓辉,倪宏. 计算机应用研究. 2008(12)
[6]Web缓存命中率与字节命中率关系[J]. 石磊,叶海琴,卫琳,连卫民. 计算机工程. 2007(13)
[7]基于分布式协同缓存机制的Web Proxy研究[J]. 符青云,刘心松. 计算机工程. 2007(11)
[8]基于协同缓存的分布式数据库更新机制研究[J]. 符青云,刘心松. 计算机工程. 2007(07)
[9]一种有效的Web代理缓存替换算法[J]. 杨春贵,吴产乐,彭鸿雁. 计算机工程. 2007(03)
[10]关系数据库语义缓存的研究进展[J]. 蔡建宇,杨树强,贾焰,邹鹏. 计算机工程与科学. 2005(10)
博士论文
[1]WWW访问特性与代理缓存研究[D]. 郝沁汾.中国科学院研究生院（计算技术研究所） 2001
硕士论文
[1]Web缓存替换策略与预取技术的研究[D]. 张旺俊.中国科学技术大学 2011
[2]HTTP实现代理服务器及缓存替换算法的研究[D]. 狄刚.吉林大学 2010
[3]分布式搜索引擎中缓存系统的研究与实现[D]. 谢瑞莲.西北大学 2009
[4]基于池化技术的分布式数据缓存模型研究与实现[D]. 杨开杰.苏州大学 2009
[5]分布式缓存模式研究及其在金融系统中的应用[D]. 戚伟强.浙江大学 2008
[6]Web缓存与预取模型研究[D]. 卫琳.郑州大学 2006
[7]基于Web对象流行度的预取模型[D]. 裴云霞.郑州大学 2005
[8]合作式Web集群缓存系统的研究与实现[D]. 王昭.武汉大学 2004
本文编号：3479174
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
服务器端缓存结构
户一般需要等待较长的延迟时间得到查询结果，用户体验非常不好，为了减轻数据库服务器端的负载量和降低用户查询机票信息时的延迟时间，提高整个系统在处理大量并发请求时的性能和用户的体验，把数据缓存系统引入到该网站的系统架构中，图4.1显示了在该网站架构中加入数据缓存系统后的系统应用分层架构图，在该架构中，数据缓存系统部署在应用服务器集群上，即在应用程序层缓存数据库的数据，首次对来自客户端的数据请求，需要到数据库服务器上读取数据，同时把数据放入缓存系统中，如果下次有相同的数据请求到达，就直接从缓存系统中返回结果，减少了客户端的延迟等待时间，也减轻了数据库服务器端的负载，从而有效地提高了系统的整体性能。貂荡貂Web服务器集群应用服务器集群图4.1应用架构图 Fig.4.1APPlicationarehiteeturediagram根据该网站项目的实际需求，其网站系统架构中的缓存系统应具有数据冗余备份和失败恢复机制。近年来，出现了不少开源缓存产品，如Memcaehed
4.2系统拓扑结构设计本文设计的分布式数据缓存系统采用Peer一to一Peer的拓扑结构，该拓扑结构的架构如图4.2所示，在该结构下，每台缓存服务器既充当服务器端角色也充当客户端角色，这种结构具有动态节点发现的特征，整个缓存系统有更好的可扩展性。本文设计的分布式数据缓存系统是要具有失败恢复功能的，这体现了缓存系统应具有较好的可伸缩性，另一方面，本缓存系统是以某机票查询网站项目为依托的，在系统整个架构中，缓存系统主要用来保存那些不是频繁变化的数据，这也是Peer一to一Peer拓扑结构的最佳应用场2鉴「习。图4.2系统拓扑结构 Fig.4.2SysterntoPologystrueture
【参考文献】：
期刊论文
[1]基于JGroups的分布式缓存的设计与实现[J]. 肖祎,方钰. 计算机应用与软件. 2011(02)
[2]Web缓存的一致性策略研究分析[J]. 党寿江,刘学,曾学文. 微计算机信息. 2010(33)
[3]基于预测的Web缓存替换算法[J]. 韩向春,田玉根. 计算机工程与设计. 2010(01)
[4]代理缓存替换一致性算法的研究[J]. 韩向春,边玮,沈峰,樊书娟. 计算机工程与设计. 2009(11)
[5]一种基于DHT的Web缓存共享方法[J]. 刘建,孙晓辉,倪宏. 计算机应用研究. 2008(12)
[6]Web缓存命中率与字节命中率关系[J]. 石磊,叶海琴,卫琳,连卫民. 计算机工程. 2007(13)
[7]基于分布式协同缓存机制的Web Proxy研究[J]. 符青云,刘心松. 计算机工程. 2007(11)
[8]基于协同缓存的分布式数据库更新机制研究[J]. 符青云,刘心松. 计算机工程. 2007(07)
[9]一种有效的Web代理缓存替换算法[J]. 杨春贵,吴产乐,彭鸿雁. 计算机工程. 2007(03)
[10]关系数据库语义缓存的研究进展[J]. 蔡建宇,杨树强,贾焰,邹鹏. 计算机工程与科学. 2005(10)
博士论文
[1]WWW访问特性与代理缓存研究[D]. 郝沁汾.中国科学院研究生院（计算技术研究所） 2001
硕士论文
[1]Web缓存替换策略与预取技术的研究[D]. 张旺俊.中国科学技术大学 2011
[2]HTTP实现代理服务器及缓存替换算法的研究[D]. 狄刚.吉林大学 2010
[3]分布式搜索引擎中缓存系统的研究与实现[D]. 谢瑞莲.西北大学 2009
[4]基于池化技术的分布式数据缓存模型研究与实现[D]. 杨开杰.苏州大学 2009
[5]分布式缓存模式研究及其在金融系统中的应用[D]. 戚伟强.浙江大学 2008
[6]Web缓存与预取模型研究[D]. 卫琳.郑州大学 2006
[7]基于Web对象流行度的预取模型[D]. 裴云霞.郑州大学 2005
[8]合作式Web集群缓存系统的研究与实现[D]. 王昭.武汉大学 2004
本文编号：3479174
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3479174.html
