基于内存数据库Redis的众包系统性能优化

发布时间：2017-05-15 17:09

  本文关键词：基于内存数据库Redis的众包系统性能优化，由笔耕文化传播整理发布。

【摘要】：众包的含义是企业或个人把任务以自愿的形式外包给非指定的、并且一般是人数众多的外部工作者。众包系统由于这种特点,多用户并发的承载能力是至关重要的。而在系统的性能提升方面,一个非常关键的瓶颈就是数据库操作,尤其是许多关系型数据库的各项操作都会访问磁盘,其速度受限于I／O设备的读写速度,物理上就难以提升。正是因为传统关系型数据库的这些缺点,人们实现了许多新的内存数据库,给数据库的提升带来了广阔的空间。本文针对使用MySQL的众包系统性能瓶颈,设计并实现了结合Redis进行改进的方案,旨在以关键流程的较小重构带来尽可能大的性能提升。对于任务分配收集,设计了具有普遍意义的Redis数据模型,突破了性能瓶颈；对于用户特征存取,利用Lua脚本的原子性封装特性,设计了可根据两种属性快速查询用户专业度排名的Redis数据模型。另外,借助MySQL的触发器和用户定义函数,通过编写动态链接库实现了一种将MySQL新增数据自动存入Redis的自动缓存机制。本文还以既存众包系统为例介绍了系统改进的具体实现,分别测试了任务分配收集改进效果,用户特征存取改进效果,和整体改进效果,与原系统性能进行对比。
【关键词】：众包系统 数据库 MySQL 内存数据库 Redis
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要5-6
• Abstract6-11
• 第1章 绪论11-14
• 1.1 课题背景11-12
• 1.2 本文的主要工作12-13
• 1.3 本文结构13
• 1.4 本章小结13-14
• 第2章 相关技术与理论基础14-29
• 2.1 众包系统14-17
• 2.1.1 众包系统类型14-16
• 2.1.2 众包系统组成16-17
• 2.2 改进相关的数据库介绍17-28
• 2.2.1 MySQL17-20
• 2.2.2 内存数据库20-22
• 2.2.3 Redis22-28
• 2.3 本章小结28-29
• 第3章 高性能的任务分配收集机制29-46
• 3.1 原众包系统任务分配收集瓶颈分析29-34
• 3.1.1 原系统数据库表29-30
• 3.1.2 工作流程及瓶颈分析30-34
• 3.2 改进设计34-39
• 3.2.1 数据设计34-36
• 3.2.2 流程设计36-38
• 3.2.3 设计效果分析38-39
• 3.3 使用MySQL的UDF自动缓存39-42
• 3.4 测试及分析42-45
• 3.4.1 测试环境42
• 3.4.2 测试设计42-43
• 3.4.3 测试结果及分析43-45
• 3.5 本章小结45-46
• 第4章 快速用户任务准确率排名46-56
• 4.1 原众包系统用户特征架构46-48
• 4.1.1 数据库表46-47
• 4.1.2 原众包系统用户特征的使用47-48
• 4.1.3 原众包系统功能扩展的困难48
• 4.2 改进设计48-51
• 4.2.1 数据设计48-50
• 4.2.2 新用户特征支持的功能50-51
• 4.3 使用Lua语言实现原子操作51-53
• 4.4 测试及分析53-55
• 4.4.1 测试环境53
• 4.4.2 测试设计53-54
• 4.4.3 测试结果及分析54-55
• 4.5 本章小结55-56
• 第5章 系统优化实现与整体性能测试56-61
• 5.1 系统改进实现56-59
• 5.1.1 任务分配收集改进实现56-58
• 5.1.2 用户特征查询改进实现58-59
• 5.2 系统整体测试59-60
• 5.2.1 测试环境59
• 5.2.2 测试设计59-60
• 5.2.3 测试结果及分析60
• 5.3 本章小结60-61
• 第6章 总结与展望61-63
• 6.1 总结61
• 6.2 展望61-63
• 参考文献63-67
• 攻读硕士学位期间主要的研究成果67-68
• 致谢68

【相似文献】

中国期刊全文数据库 前10条

1 朱兴宇 ,李凌峰 ,薛巍;基于内存数据库的信用防欺诈系统[J];通信世界;2003年20期

2 易国洪;;内存数据库中恢复技术研究[J];科技广场;2007年03期

3 王珊;肖艳芹;刘大为;覃雄派;;内存数据库关键技术研究[J];计算机应用;2007年10期

4 张乾;;共享内存在内存数据库系统中的应用[J];科技传播;2010年19期

5 刘敏;费向东;胡术;杨诚;;空管系统中内存数据库的设计与实现[J];计算机工程;2010年21期

6 张丽娟;;内存数据库数据的组织结构优化[J];煤炭技术;2011年08期

7 许丽花;;内存数据库的关键技术研究[J];电脑知识与技术;2011年36期

8 陶卫平;;内存数据库关键技术探讨[J];大众科技;2012年11期

9 张良;王纯;李炜;;基于内存数据库的存储集群的关键技术研究[J];电信工程技术与标准化;2012年10期

10 李慧;;内存数据库之访问控制模块设计[J];科技风;2013年06期

中国重要会议论文全文数据库 前10条

1 梅宏斌;王德强;;内存数据库技术在期货交易系统中的应用[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

2 吴绍春;舒良才;李国辉;刘云生;;用内存数据库支持实时事务的定时限制[A];数据库研究进展97——第十四届全国数据库学术会议论文集（下）[C];1997年

3 陈滢;姚小巍;金文;董逸生;;内存数据库的技术探讨[A];第十二届全国数据库学术会议论文集[C];1994年

4 高嗣昌;李守华;李晋;;HSQLDB在电信级项目中的应用[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

5 盛业兴;陆阳;;一种对缓存敏感的内存数据库数据组织方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

6 马兰;宋玲;吴智玲;;嵌入式内存数据库的数据索引研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 宋玲;杨雪君;马兰;;嵌入式内存数据库的存储和索引算法研究[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

8 覃飙;王建民;刘云生;;一种实时内存数据库恢复算法[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

9 郭超;李坤;王永炎;刘胜航;王宏安;;多核处理器环境下内存数据库索引性能分析[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年

10 张延松;龚玮薇;王占伟;黄伟;胡伟;季晓东;黄云奎;王珊;;ScaMMDB:面向可扩展内存数据库系统的研究[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

中国重要报纸全文数据库 前10条

1 本报记者 邱燕娜;甲骨文内存数据库产品强调混合负载优势[N];中国计算机报;2014年

2 智雨青;走近内存数据库[N];计算机世界;2007年

3 张建铭;3G时代 内存数据库受宠[N];网络世界;2006年

4 本报记者　 小木;3G计费钟爱内存数据库[N];计算机世界;2006年

5 见习记者 高建荣;袖珍企业赢得巨头订单[N];深圳特区报;2012年

6 本报记者 陈平;SAP携HANA发力中国市场[N];电脑报;2011年

7 本报记者 霍娜 邱燕娜;SAP HANA促生第三代BI 全员实时预测分析或成现实[N];中国计算机报;2012年

8 ;大数据/商业分析会越来越热[N];网络世界;2012年

9 振;Oracle内存数据库高速缓存软件上市[N];电脑商报;2008年

10 《网络世界》记者 周源;戴尔最高端服务器R920入市[N];网络世界;2014年

中国博士学位论文全文数据库 前3条

1 周晓云;并行内存数据库快速事务提交与高效恢复方法研究[D];中国矿业大学;2009年

2 刘勇;基于GPU的内存数据库索引技术研究[D];华南理工大学;2013年

3 贾连印;内存数据库中集合相似度及集合包含问题的研究[D];华南理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 汤璇;基于简易内存数据库的水调预警系统的设计及实现[D];武汉科技大学;2008年

2 朱振龙;内存数据库装载和交换策略研究[D];湖南大学;2009年

3 徐海华;面向应用的内存数据库研究[D];上海师范大学;2008年

4 张照波;Redis在电信运营系统中的应用研究[D];大连海事大学;2015年

5 李凤龙;标准信息网检索数据库架构与实现[D];山东大学;2014年

6 王晟泳;多机热备份内存数据库的设计与实现[D];电子科技大学;2011年

7 钱昊;面向内存数据库的快照机制和持久性支持研究[D];上海交通大学;2015年

8 李兆X;期货客户快速报单系统的设计与实现[D];华北电力大学;2015年

9 李诗云;基于内存数据库Redis的众包系统性能优化[D];浙江大学;2016年

10 常鹏飞;LADS：基于依赖分析的动态单线程在线事务处理内存数据库[D];浙江大学;2016年

  本文关键词：基于内存数据库Redis的众包系统性能优化，由笔耕文化传播整理发布。

，

本文编号：368350