基于Redis的分布式缓存系统研究与应用
发布时间：2021-05-16 12:02
受武陵山片区政府和企业的委托,进行新型农业数字化平台的建设和推广工作。随着新型农业数字化平台在武陵山片区多家企业投入使用,平台开始面临由于企业用户和消费者用户的数量急剧增加而带来的极大挑战。大量用户频繁操作会对数据库造成巨大压力,严重情况下会造成系统响应时间过长甚至系统崩溃的现象。如何提高平台的高并发处理能力是一个重要的研究问题,目前常见的解决方案是采用Redis分布式缓存系统。为了提高平台高并发场景下的响应速度,需将热点农业数据分布到分布式缓存系统的各缓存节点中。其次,考虑到平台随着在武陵山片区的推广,实验室研发的分布式缓存系统日后必然面临扩展。如何降低系统扩展时各缓存节点产生数据迁移的代价也具有重要意义。因此,论文分析了分布式缓存系统的数据分布以及数据迁移的研究现状,并对现有的数据分布以及数据迁移算法做出了改进。主要完成了以下工作:（1）对基于虚拟节点的一致性哈希算法做出如下2个改进。首先,针对该算法在实验室服务器节点性能参差不齐的情况下,容易导致各节点数据分布不均衡的问题,提出了WFCH算法。通过设计一种权重因子策略,在对物理节点分配虚拟节点映射时引入权重因...
【文章来源】：中南民族大学湖北省
【文章页数】：64 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.3 本文主要工作
1.4 论文组织安排
第2章 项目依托及相关技术研究
2.1 项目依托
2.2 数据分布技术
2.2.1 一致性哈希算法
2.2.2 基于虚拟节点的一致性哈希算法
2.3 数据迁移技术
2.4 典型缓存系统
2.4.1 Memcached缓存系统
2.4.2 Redis缓存系统
2.4.3 缓存系统选择
2.5 本章小结
第3章 分布式缓存系统数据分布算法
3.1 问题描述
3.2 改进的基于虚拟节点的一致性哈希算法
3.2.1 WF_CH算法
3.2.2 DM_CH算法
3.3 实验结果与分析
3.3.1 实验环境
3.3.2 实验设计
3.3.3 评价指标
3.3.4 实验结果及分析
3.4 本章小结
第4章 分布式缓存系统数据迁移算法
4.1 问题描述
4.2 改进的数据迁移算法
4.2.1 均衡状态定义
4.2.2 迁移对象选取
4.2.3 算法实现
4.3 实验结果与分析
4.3.1 实验环境
4.3.2 评价指标
4.3.3 实验结果分析
4.4 本章小结
第5章 基于Reids的分布式缓存系统应用
5.1 新型农业数字化平台架构设计
5.1.1 原有架构
5.1.2 改进后架构
5.2 分布式缓存机制在平台中应用
5.2.1 分布式缓存机制在产品溯源模块中应用
5.2.2 分布式缓存机制在环境数据模块中应用
5.2.3 分布式缓存机制在大数据中心模块中应用
5.3 系统性能测试
5.3.1 测试环境
5.3.2 实验设计
5.3.3 评价指标
5.3.4 测试结果分析
5.4 本章小结
第6章 总结与展望
6.1 全文总结
6.2 未来工作展望
参考文献
附录 攻读硕士学位期间获得的成果
致谢
【参考文献】：
期刊论文
[1]新常态下的互联网经济发展对中国居民生活的影响[J]. 曾继红. 经济研究导刊. 2019(01)
[2]一种分布式缓存系统的关键技术及应用[J]. 屠要峰,刘辉,张国良,刘春. 计算机科学. 2018(05)
[3]基于高性能I/O技术的Memcached优化研究[J]. 安仲奇,杜昊,李强,霍志刚,马捷. 计算机研究与发展. 2018(04)
[4]采用弧映射的双层对象分布算法[J]. 聂世强,伍卫国,崔金华,薛尚山,刘钊华. 西安交通大学学报. 2018(06)
[5]基于Redis盾构远程监控系统设计[J]. 赵炯,刘玲锦,周奇才,熊肖磊. 隧道建设(中英文). 2018(01)
[6]一种基于TwemProxy的HBase索引缓存方案[J]. 瞿龙俊,李星毅. 信息技术. 2017(10)
[7]基于Bully算法的Redis集群选举方案优化[J]. 王芬,顾乃杰,黄增士. 计算机科学. 2017(10)
[8]工信部解读《大数据产业发展规划（2016-2020年）》[J]. 中国信息安全. 2017(05)
[9]Redis数据库可靠性与自适应持久化改进方案[J]. 余景寰,李贞昊. 信息系统工程. 2017(02)
[10]一致性哈希的数据集群存储优化策略研究[J]. 邱宁佳,胡小娟,王鹏,杨华民. 信息与控制. 2016(06)
硕士论文
[1]分布式即时通信系统设计与实现[D]. 张鹏洋.北京化工大学 2018
[2]基于Redis技术的分布式缓存电商平台设计与实现[D]. 欧阳文臣.南昌大学 2018
[3]基于Redis的分布式Key-Value系统的优化研究[D]. 周晓场.华南理工大学 2018
[4]基于内存数据库Redis的众包系统性能优化[D]. 李诗云.浙江大学 2016
[5]基于分治思想0-1背包问题的并行算法研究[D]. 李凌霄.湖南大学 2011
本文编号：3189654
【文章来源】：中南民族大学湖北省
【文章页数】：64 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.3 本文主要工作
1.4 论文组织安排
第2章 项目依托及相关技术研究
2.1 项目依托
2.2 数据分布技术
2.2.1 一致性哈希算法
2.2.2 基于虚拟节点的一致性哈希算法
2.3 数据迁移技术
2.4 典型缓存系统
2.4.1 Memcached缓存系统
2.4.2 Redis缓存系统
2.4.3 缓存系统选择
2.5 本章小结
第3章 分布式缓存系统数据分布算法
3.1 问题描述
3.2 改进的基于虚拟节点的一致性哈希算法
3.2.1 WF_CH算法
3.2.2 DM_CH算法
3.3 实验结果与分析
3.3.1 实验环境
3.3.2 实验设计
3.3.3 评价指标
3.3.4 实验结果及分析
3.4 本章小结
第4章 分布式缓存系统数据迁移算法
4.1 问题描述
4.2 改进的数据迁移算法
4.2.1 均衡状态定义
4.2.2 迁移对象选取
4.2.3 算法实现
4.3 实验结果与分析
4.3.1 实验环境
4.3.2 评价指标
4.3.3 实验结果分析
4.4 本章小结
第5章 基于Reids的分布式缓存系统应用
5.1 新型农业数字化平台架构设计
5.1.1 原有架构
5.1.2 改进后架构
5.2 分布式缓存机制在平台中应用
5.2.1 分布式缓存机制在产品溯源模块中应用
5.2.2 分布式缓存机制在环境数据模块中应用
5.2.3 分布式缓存机制在大数据中心模块中应用
5.3 系统性能测试
5.3.1 测试环境
5.3.2 实验设计
5.3.3 评价指标
5.3.4 测试结果分析
5.4 本章小结
第6章 总结与展望
6.1 全文总结
6.2 未来工作展望
参考文献
附录 攻读硕士学位期间获得的成果
致谢
【参考文献】：
期刊论文
[1]新常态下的互联网经济发展对中国居民生活的影响[J]. 曾继红. 经济研究导刊. 2019(01)
[2]一种分布式缓存系统的关键技术及应用[J]. 屠要峰,刘辉,张国良,刘春. 计算机科学. 2018(05)
[3]基于高性能I/O技术的Memcached优化研究[J]. 安仲奇,杜昊,李强,霍志刚,马捷. 计算机研究与发展. 2018(04)
[4]采用弧映射的双层对象分布算法[J]. 聂世强,伍卫国,崔金华,薛尚山,刘钊华. 西安交通大学学报. 2018(06)
[5]基于Redis盾构远程监控系统设计[J]. 赵炯,刘玲锦,周奇才,熊肖磊. 隧道建设(中英文). 2018(01)
[6]一种基于TwemProxy的HBase索引缓存方案[J]. 瞿龙俊,李星毅. 信息技术. 2017(10)
[7]基于Bully算法的Redis集群选举方案优化[J]. 王芬,顾乃杰,黄增士. 计算机科学. 2017(10)
[8]工信部解读《大数据产业发展规划（2016-2020年）》[J]. 中国信息安全. 2017(05)
[9]Redis数据库可靠性与自适应持久化改进方案[J]. 余景寰,李贞昊. 信息系统工程. 2017(02)
[10]一致性哈希的数据集群存储优化策略研究[J]. 邱宁佳,胡小娟,王鹏,杨华民. 信息与控制. 2016(06)
硕士论文
[1]分布式即时通信系统设计与实现[D]. 张鹏洋.北京化工大学 2018
[2]基于Redis技术的分布式缓存电商平台设计与实现[D]. 欧阳文臣.南昌大学 2018
[3]基于Redis的分布式Key-Value系统的优化研究[D]. 周晓场.华南理工大学 2018
[4]基于内存数据库Redis的众包系统性能优化[D]. 李诗云.浙江大学 2016
[5]基于分治思想0-1背包问题的并行算法研究[D]. 李凌霄.湖南大学 2011
本文编号：3189654
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3189654.html
