搜索引擎用户数据管理系统

发布时间：2017-04-26 06:09

  本文关键词：搜索引擎用户数据管理系统，由笔耕文化传播整理发布。

【摘要】：随着时间的推移和用户量的增长,“搜搜”搜索引擎产生的数据总量和数据种类都急剧增加,这些数据是提高搜索质量的重要依据和挖掘用户需求的关键样本。然而,庞大的数据却没有很好的统一管理平台,每种数据都是由专门的人员自行管理,给工作效率带来的极大的影响。因此,本人的工作任务就是给公司开发一套统一的数据管理平台,方便数据的管理,节省沟通时间,提高工作效率。 本文设计和实现了一个支持大规模数据的管理系统,并且实现了负载均衡机制以及分布式内存缓存架构。本人主要工作内容如下： (1)结合项目背景,对系统的功能性需求和非功能需求分别进行详细需求分析,并对每个系统模块绘制详细的用例。 (2)设计了系统总体架构,其中包括内存缓存的数据流程设计。设计了系统的数据概念模型和数据逻辑模型。详细设计并实现了五大功能模块。 (3)实现了分布式的内存缓存架构,创新性的设计并实现了缓存数据的主动过期机制,使得系统同时具备高性能和高数据实时性。设计并实现了缓存及数据库的可拓展性,使得系统可以根据运行情况快速添加服务器。 (4)测试了系统的功能模块,缓存架构的命中率以及主动失效机制。测试了系统的负载均衡机制以及可拓展性效果。使得系统的运行效果符合预期。 经过数个月的设计和开发,本人完成了整个系统的开发工作,并交付使用。经过同事反馈,系统提供了方便快捷的数据管理的同时,保证了高性能和高稳定性,并且提供了细致安全的权限管理。基本满足了公司需求。
【关键词】：管理系统 缓存 负载均衡
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.3;TP311.52
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-17
• 1.1 项目背景12
• 1.2 研究现状分析12-13
• 1.3 研究目的和意义13
• 1.4 相关原理与技术13-16
• 1.4.1 PHP技术13-14
• 1.4.2 Memcached缓存14-15
• 1.4.3 Nginx服务器15-16
• 1.5 主要工作16
• 1.6 本文的组织结构16-17
• 2 搜索引擎用户数据管理系统的需求分析17-25
• 2.1 系统的总体功能描述17-18
• 2.2 系统的用户模块需求分析18
• 2.3 系统的功能性需求分析18-23
• 2.3.1 数据管理模块18-19
• 2.3.2 脚本管理模块19-20
• 2.3.3 数据类型管理模块20-21
• 2.3.4 账户及群组管理模块21-22
• 2.3.5 日志管理模块22-23
• 2.4 系统的非功能性需求23-24
• 2.4.1 安全性需求23-24
• 2.4.2 拓展性需求24
• 2.4.3 性能需求24
• 2.4.4 容错性需求24
• 2.5 本章小结24-25
• 3 搜索引擎用户数据管理系统的总体设计25-39
• 3.1 系统的架构设计25-28
• 3.1.1 网站程序框架25-26
• 3.1.2 总体架构图26-27
• 3.1.3 反向代理及负载均衡设计27
• 3.1.4 缓存架构设计27-28
• 3.2 系统的功能模块设计28-29
• 3.3 系统的数据模型设计29-37
• 3.3.1 概念模型设计29-32
• 3.3.2 逻辑模型设计32-37
• 3.4 系统的开发与运行环境37-38
• 3.4.1 开发环境和工具37
• 3.4.2 系统的运行环境37-38
• 3.5 本章小结38-39
• 4 搜索引擎用户数据管理系统的详细设计39-60
• 4.1 缓存架构的详细设计与实现39-44
• 4.1.1 缓存数据种类的决策39-40
• 4.1.2 缓存数据的查找和添加40-41
• 4.1.3 缓存数据的替换和失效机制41
• 4.1.4 缓存数据主动过期机制的设计与实现41-44
• 4.2 反向代理和负载均衡的问题及解决44-46
• 4.2.1 反向代理访问日志的问题与解决44-45
• 4.2.2 负载均衡的分发方案与实现45-46
• 4.3 缓存以及数据库的可拓展性详细设计46-47
• 4.3.1 缓存的可拓展性设计与实现46-47
• 4.3.2 数据库的可拓展性设计与实现47
• 4.4 数据管理模块的详细设计与实现47-51
• 4.4.1 数据查询功能47-48
• 4.4.2 数据修改功能48-49
• 4.4.3 数据添加功能49-50
• 4.4.4 数据上传功能50
• 4.4.5 数据删除功能50-51
• 4.4.6 数据下载功能51
• 4.5 脚本管理模块的详细设计与实现51-54
• 4.5.1 脚本查看功能52-53
• 4.5.2 脚本修改功能53
• 4.5.3 脚本添加功能53
• 4.5.4 脚本删除功能53-54
• 4.5.5 脚本启动/停止功能54
• 4.6 数据类型管理模块的详细设计与实现54-57
• 4.6.1 数据类型添加功能55-56
• 4.6.2 数据类型修改功能56
• 4.6.3 数据类型删除功能56-57
• 4.7 账户及群组管理模块的详细设计与实现57-59
• 4.7.1 修改密码功能57
• 4.7.2 添加/修改账户及群组功能57-58
• 4.7.3 登录功能58
• 4.7.4 权限管理功能58-59
• 4.8 日志管理模块的详细设计与实现59
• 4.8.1 日志的自动记录功能59
• 4.8.2 日志的查看与搜索功能59
• 4.9 本章小结59-60
• 5 搜索引擎用户数据管理系统的测试评估60-66
• 5.1 缓存架构测试60-61
• 5.1.1 命中率测试60
• 5.1.2 主动失效机制测试60-61
• 5.2 反向代理及负载均衡测试61
• 5.3 系统拓展性测试61-62
• 5.4 功能模块测试62-65
• 5.4.1 数据管理模块62-63
• 5.4.2 脚本管理模块63-64
• 5.4.3 数据类型管理模块64-65
• 5.4.4 账户及群组管理模块65
• 5.5 本章小结65-66
• 6 结论66-67
• 参考文献67-69
• 作者简历69-71
• 学位论文数据集71

【共引文献】

中国期刊全文数据库 前10条

1 吴蓓;;数据库系统的建立方法和参考模型[J];信息安全与技术;2011年10期

2 黄春英;;客户关系管理系统的设计与实现[J];重庆理工大学学报(自然科学);2011年11期

3 史书明;;人性化公共报修系统的数据库设计[J];长江大学学报(自然科学版);2011年07期

4 王涛;;增强型报修系统的分析和设计[J];电脑知识与技术;2011年18期

5 张仕华;李建军;曹桂红;罗敏;;网站系统数据库优化技术[J];电脑知识与技术;2011年30期

6 陈涛;;基于Web的在线考试系统设计与实现[J];四川文理学院学报;2007年02期

7 刘芳;;基于UML的ADSL装机管理系统的设计与实现[J];电子科技;2011年12期

8 唐小波;赵晖;;高校院、系资料室图书管理系统的设计[J];福建电脑;2007年10期

9 文欣;;数据库安全性分析[J];福建电脑;2008年09期

10 黄承明;;商业银行信贷管理系统的数据库设计要点[J];中国管理信息化;2010年15期

中国硕士学位论文全文数据库 前10条

1 车大伟;农户贷款管理系统设计与实现[D];华东师范大学;2010年

2 张丹阳;校园网上二手信息发布平台的设计与实现[D];华东师范大学;2010年

3 王建国;基于WebGIS的两坝间天气实时监测系统设计与实现[D];电子科技大学;2010年

4 孙宝明;北京大兴职教集团门户信息平台设计与实现[D];电子科技大学;2010年

5 白昀;基于.NET的路径规划系统的设计与实现[D];西安电子科技大学;2011年

6 刘彤;基于Web的高校派出工作管理系统[D];吉林大学;2011年

7 高明;云南电信号码百事通系统的分析和设计[D];北京邮电大学;2010年

8 郑俐;基于Web的卫星信息数据库系统的研究与实现[D];北京邮电大学;2011年

9 李伟利;面向普通教育的内容管理系统研究[D];北京林业大学;2011年

10 芦倩;基于ArcGIS Engine的水文生态数据管理系统设计与实现[D];北京林业大学;2011年

  本文关键词：搜索引擎用户数据管理系统，，由笔耕文化传播整理发布。

本文编号：327879