基于NoSQL存储系统的研究与应用

发布时间：2019-10-14 19:54

【摘要】：传统关系数据库具有良好的可扩展性、高可用性、高稳定性,得到了广泛使用。但关系数据库毕竟是通用型的数据库,存在灵活性不足,大数据量情况下响应速度慢等问题,因而不能完全适用于大数据时代互联网应用的需求。鉴于此,研究人员研发了各种各样数据库技术弥补关系数据库的不足。其中以NoSQL为代表的新型数据库因数据模型灵活、响应速度快,可扩展性强等优点越来越受到人们的关注,但是现有很多系统是基于关系数据库的,如何从现有关系数据库系统中引入NoSQL数据库,让关系数据库和NoSQL数据库各自发挥其优秀的性能仍是目前急需解决的问题。本文依托于实际开发的项目——校园58分类信息平台,在关系数据库基础上引入NoSQL数据库,研究两者在深度融合方面的关键技术,包括建立了以关系数据库为主库,以Redis为从库的异构读写分离方案、数据同步技术、客户端分片集群均衡技术等。主要完成以下几个方面的内容。(1)针对原有MySQL系统单一存储架构,引入了Redis这种新型的NoSQL数据库,改进存储系统的整体架构方案,让MySQL负责存储所有数据,提供持久化支持,Redis数据库负责缓存数据结构简单、读取频率高的数据。服务器接收到写入请求时,直接往MySQL中写入数据,并定时同步热点数据到Redis中。服务器接收到读操作请求时,首先在Redis中读取数据,读取失败再从MySQL中读取数据。从而实现了存储系统读写分离,提高了大数据量高并发情况下系统访问效率。(2)根据大数据量存储迁移的需求,在分析、总结现有存储结构和数据迁移技术的基础上,设计了合适的数据存储结构,利用Redis管道机制对数据迁移方案进行改进;同时在大数据量情况下采用hash结构、简化键名的方式节约内存;通过多线程合并操作减少网络开销,提高系统运行效率。(3)随着用户量越来越多,数据量越来越大,单台数据库服务器满足不了日益增长数据量的需求,需要在系统中实现分布式数据库集群。本文针对现有Redis分布式集群负载均衡技术存在的不足,提出了带冗余数据的一致性hash算法,优化了现有Redis客户端分片集群的负载均衡技术,提高了系统稳定性、可用性。最后把研究成果应用到校园58分类信息平台中。结果表明,系统能长时间稳定运行,个别服务器出现故障不会影响系统运行,改进后的数据迁移率明显提高,在高并发情况下,改进后的存储系统整体性能高于原来的存储系统。
【图文】：

功能图,数据存储,功能,关系数据库

第三章基于 redis 存储系统的研究与优化章主要研究 NoSQL 大家族中的 Redis 数据库，研究适当的数据分发挥 Redis 的高超性能，同时结合实际项目设计 Redis+MySQ优化，充分发挥关系数据库和 redis 的优点。edis 信息存储架构的改进方案以往开发应用程序时使用应用程序直接访问 MySQL 的经验，在容易想到直接用 Redis 取代关系数据库，系统架构如下图 3-1 所

数据,网站,论文设计,读访问

Mysql Server图 3-2 数据存储方案的改进此论文设计了将 MySQL 作为主库，Redis 作为从库的异构读写分离的此方案主要并针对大数据量、高并发量的场景，对 Redis 进行优化[15]。之用这个方案，有以下几个原因：首先，现有系统仅仅使用 MySQL 数据库当在这个前提下引入 Redis 数据库当从库合情合理，操作简单。其次，随着网量的剧增，网站数据量也随之剧增，而系统内存是有限的，不可能将所有存在内存中，所以使用 MySQL 存储所有数据，，提供持久化支持，使用 Red从库，最大限度的存放近期热点数据，在节约成本的同时尽可能提高效率。网站一般读访问操作远高于写访问操作，所以使用 Redis 主要分担读数据方力，提高了系统整体性能[35]。这里需要注意的是 Redis 作为从库，并不是缓存 MySQL 中的所有数据存结构简单，不需要对表进行关联查询的部分数据，关系复杂的数据仍让程直接对关系数据库进行操作，本文主要研究讨论的是适合用 Redis 进行缓
【学位授予单位】：重庆交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP333

【相似文献】