基于Redis的信息存储优化技术研究与应用

发布时间：2017-06-12 03:03

  本文关键词：基于Redis的信息存储优化技术研究与应用，，由笔耕文化传播整理发布。

【摘要】：信息存储技术做为数字技术的重要组成部分之一,随着数字化信息爆炸性增长,对信息存储提出了更高的要求,信息存储系统需要大幅度的提高其速度。目前提高性能的方法主要有存储虚拟化、存储内存化、多平台的互操作性和数据共享等。但是从技术的角度上来讲,目前存储系统的性能还远不能满足高并发的需求。 本文选取Redis这种新的存储技术,针对高并发访问的场景,从多平台互操作性和数据共享两方面来对基于Redis的信息存储技术进行优化。一方面,互联网应用访问是具有特殊性的,它的读写操作比例大概在10：1左右,所以适合读写分离这种场景。设计Redis结合关系型数据库来实现异构读写分离,实现多平台的数据共享；另一方面,通过对Redis进行合理的优化,进一步提高性能。 在异构数据同步方面,利用关系型数据库提供的数据操纵语言DML访问数据库中的数据实现全量异构迁移；利用关系型数据库的触发器来自动更新Redis中的数据来支持增量复制,实现实时同步。支持各类传统关系型数据库向Redis数据结构的转换。在Redis优化方面,从选择内存分配器、持久化、网络延迟三个方面提出对Redis进行优化；针对多台Redis服务器提出加权一致性哈希的负载分配算法均衡负载压力。 在设计和实现上,搭建相应的数据服务平台来实现异构数据之间的转换与同步。通过实验,验证数据服务平台异构数据之间的转换和实时同步,并通过高并发测试,验证存储系统的高性能。结果表明,异构数据通过数据服务平台实现了转换同步。在高并发场景下,使用数据服务平台做为存储系统的网络应用的性能远高于只以关系型数据库做为存储系统的网络应用。
【关键词】：信息存储优化 异构读写分离 Redis优化
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 1 绪论8-12
• 1.1 研究背景与意义8
• 1.2 国内外研究现状8-10
• 1.2.1 基于Redis的信息存储的应用9-10
• 1.2.2 国内外研究现状分析10
• 1.3 研究基本内容10-11
• 1.4 论文结构与安排11-12
• 2 相关技术介绍12-17
• 2.1 Redis12-13
• 2.2 关系型数据库13
• 2.3 异构数据库介绍13-15
• 2.3.1 DM3系统14
• 2.3.2 淘宝异构方案14
• 2.3.3 主从准实时同步原理14-15
• 2.4 线程池15-16
• 2.5 生产者消费者模型16
• 2.6 JMeter16-17
• 3 信息存储在网站中的应用17-19
• 3.1 使用单机Mysql17
• 3.2 Memcache结合MySql17-18
• 3.3 分布式架构18
• 3.4 小结18-19
• 4 基于Redis的信息存储优化技术方案设计19-37
• 4.1 Redis的信息存储原理图19-20
• 4.2 关系型数据库全量迁移到Redis原理20-21
• 4.3 关系型数据库实时同步到Redis原理21-23
• 4.4 数据引擎设计23-25
• 4.5 数据服务平台设计与优化25-30
• 4.5.1 模块化设计说明26-27
• 4.5.2 源数据信息存储结构27-28
• 4.5.3 多任务抽取数据方案设计28-29
• 4.5.4 数据转换方案设计29-30
• 4.5.5 导入Redis方案设计30
• 4.6 Redis优化30-37
• 4.6.1 内存分配器选择30-32
• 4.6.2 内存优化与预估32-33
• 4.6.3 持久化机制33
• 4.6.4 网络延迟优化33-34
• 4.6.5 加权一致性哈希的负载分配算法34-35
• 4.6.6 Redis复制改进35-37
• 5 数据服务平台系统实现37-44
• 5.1 总体架构37-38
• 5.2 类图38-39
• 5.3 配置模块实现39
• 5.4 导出模块实现39-41
• 5.5 转换模块实现41
• 5.6 导入模块实现41-42
• 5.7 监控模块实现42
• 5.8 中心管理模块实现42-44
• 6 实验与分析44-55
• 6.1 实验：高并发模拟测试实验44-55
• 6.1.1 实验目的44
• 6.1.2 实验环境44
• 6.1.3 实验过程44
• 6.1.4 Mysql多表到Redis的全量数据迁移44-48
• 6.1.5 实验分析与总结48-50
• 6.1.6 MySql实时同步到Redis中50-52
• 6.1.7 局并发测试对比52-54
• 6.1.8 实验分析与总结54-55
• 7 总结与展望55-56
• 参考文献56-58
• 申请学位期间的研究成果及发表的学术论文58-59
• 致谢59

【参考文献】

中国期刊全文数据库 前8条

1 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

2 李海波;程耀东;;大数据存储技术和标准化[J];信息技术与标准化;2013年05期

3 姚兰;企业多源异构数据库数据访问技术的研究[J];黑龙江大学自然科学学报;2002年01期

4 唐建宁;周景报;;异构数据库集成技术之浅见[J];吉林广播电视大学学报;2011年04期

5 吴蔚;网络站点的负载均衡技术探索[J];计算机时代;2004年07期

6 曾俊国;;基于Web2.0的毕业论文管理系统的研究[J];价值工程;2012年33期

7 张月琴;袁新坤;;一种异构数据库同步技术的研究与实现[J];微计算机信息;2008年33期

8 谢怡,燕彩蓉,彭勤科,胡保生;数据库集群服务器的设计和管理[J];微电子学与计算机;2003年01期

  本文关键词：基于Redis的信息存储优化技术研究与应用，由笔耕文化传播整理发布。

本文编号：443065