基于MEMCACHED的数据缓存研究与实现

发布时间：2020-11-21 18:37

　　 随着WEB应用用户量和数据量的快速增长,页面响应时间和系统的稳定性成为影响用户体验的重要指标。其中影响系统响应时间和系统稳定性最为重要的因素就是数据的查询性能。为了提升数据的查询速度,应用引入了Memcached缓存系统对频繁查询的数据进行缓存。针对不同的数据及使用场景,提出了不同的数据缓存方案。由于其将数据缓存到服务器内存中,当客户端请求数据时,直接从内存中读取数据。由于单机服务器内存的限制无法缓存储海量的数据,并且单机服务器也无法应付高并发请求,提出了Memcached的分布式解决方案。针对这个分布式部署方案,分析了不同的数据分散算法在使用过程中会出现的问题,并研究了分布式Memcached系统中添加删除服务器节点的具体实现。将一致性哈希算法与虚拟节点的概念应用到Memcached的分布式架构中大大提升了单节点服务器宕机造成的系统整体性能下降,针对一致性hash算法的查找时间慢的问题,将二分查找算法应用于服务器节点的查找中。由于内存中的数据在服务器重启或者宕机时全部丢失不可恢复,并且它的LRU机制造成了未过期数据的淘汰。针对Memcached缓存服务器数据易丢失的特性,论文提出了缓存数据的持久化解决方案。有效的解决了缓存数据失效的问题,同时当缓存服务器宕机时还可以加入新的替换服务器,并将持久化数据恢复到新加入的服务器节点。本论文的研究成果适用于大并发量、大数据量web应用缓存系统,很好的解决了实际应用过程中出现的各种数据丢失、内存不够用、性能瓶颈等问题。根据实验结果,数据访问速度相对于MySQL数据库提升了一定的倍数,另外缓存服务器节点理论上可以无限扩展。文中提出的分布式解决方案及数据持久化方案对其他缓存系统有一定的借鉴意义。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP333
【部分图文】：

接查询数据库，而是从 Memcached 缓存服务器中查找得到。具体的数据缓存查询流程如 1 图 3-1 所示。图3-1 缓存数据查询流程Fig.3-1 Query data data from cache system

节点进行查找，对比这个节点的值，二分查找服务器节点算法的时间复杂度为lg(n)，因而大大节约了查找时间。服务器查找算法如图 3-2 所示：图3-2 查找服务器节点Fig.3-2 Find Server Node如图 3-2 所示，如果节点[N/2]号服务器节点宕机了，同时此时查找到的 key值刚好映射到这个节点上，这个时间应该将下一个节点[N/2]+1 作为 key 的临时缓存服务器节点。因而单节点失效只造成一个节点上的数据转移到其他节点。同样地，当向一致性 hash 环中添加服务器节点时，或者宕机服务器恢复时，我们需要将一个服务器节点加入到一致性 hash 环中，服务器节点数由 N 变成 N+1。与上一节中的余数计算分散法的区别在于，一致性 hash 算法缓存重组的代价比较低。当我们使用 Memcached 中的 add 或者 get 方法设置数值时

也有大有小。如图 3-3 所示，节点 B 上有许多缓存项，这些缓存项的 hash 值范围是[Key B, Key C)，我们仍然可以将这个范围的值分散到剩下的两个节点上。图3-3 一致性 hash 环Fig.3-3 Consistent Hash Cycle如图3-3[33]所示，如果节点B失效或者移除，此时有一个key4经一致性hash计算映射到节点 B 上，这个时候我们发现节点 B 失效，再经过一次一致性 hash计算（这个一致性hash 环的范围不一样），这个时候key4就映射到 C节点上了。也就是说单个服务器计算出来的多个“虚拟节点”会分散到其他节点上。这样的话，每台服务器都计算出“虚拟节点”，这样的话，每台服务器的“虚拟节点”就会平均分布到集群圈的各个区，使用“虚拟节点”，在key落点的时候
【参考文献】

相关期刊论文 前4条

1 郭栋;王伟;曾国荪;;基于Memcached的缓存资源集中管理方法[J];计算机技术与发展;2013年12期

2 宗小忠;;基于Memcached构建Web缓存服务器[J];电脑知识与技术;2011年05期

3 谢骋超;陈华钧;张宇;;DartCache:一个基于哈希表的分布式Cache系统[J];计算机科学;2006年08期

4 徐永睿;;基于LIRS缓存替换算法的实践[J];程序员;2011年02期

相关硕士学位论文 前2条

1 陈文武;分布式锁技术研究[D];华南理工大学;2013年

2 李方超;基于NOSQL的数据最终一致性策略研究[D];哈尔滨工程大学;2012年

本文编号：2893428