应用于网络监控系统的数据库设计与实现研究

发布时间：2017-06-18 17:15

  本文关键词：应用于网络监控系统的数据库设计与实现研究，，由笔耕文化传播整理发布。

【摘要】：信息时代,互联网的发展对于数据库技术的要求更高,在海量的数据信息量条件下,用户越来越关注稳定、高效的数据层解决方案。本文背景为企业员工网络行为监控,系统使用LAMP架构进行开发。系统采用了Linux系统下运行效率较高的MySQL数据库,来保存网络行为日志信息。对于读写频繁的大规模日志数据,考虑数据库的设计以及性能优化,从而使监控网络行为的数据库高效、稳定地运行,将是本文的工作目的。为提高海量数据的查询效率,文中设计了按照数据拆分的动静隔离架构。亦即将日志数据拆分为静态数据与活跃数据(历史与实时日志),采用任务定时调度将活跃数据复制为静态数据,进而使用表分区技术,对日志按时间粒度进行表分区。对频繁访问且数据量不大的基础数据表,采用内存表与磁盘表并存的方式进行数据保存,从而使表的连接效率得到提高。在监控策略制定模块中,采用了灵活的监控策略表设计,对各个被控对象或组,使用模板形式应用策略到被控对象中,并制定了应用的组优先监控策略,管理员方便操作。设计了一组高效、合理的数据库Schema。对于优化Query,本文分析Query语句频度较高的explain执行计划,进行了合适的索引设计。而不太适合索引建立的数据列,则设计了分类数据模型,亦即按照数据表的列属性,对于数据进行一维或二维关系分类,保存为视图方式；通过相对应数据子集的匹配,来实现语句重组查询,替代原Query语句。测试结果表明,优化Query后,由于回避了全表扫描造成的响应时间延迟,比优化前查询效率得到了大幅度提高,进而证明了优化方案的有效性。
【关键词】：MySQL Schema设计 性能 优化
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52;TP393.06
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 前言8-12
• 1.1 课题背景8
• 1.2 研究现状8-9
• 1.3 论文的研究目标9-10
• 1.4 论文的主要工作10
• 1.5 论文工作及组织结构10-12
• 第二章 MySQL数据库、架构及性能优化理论与方法研究12-23
• 2.1 MySQL数据库、架构12-17
• 2.1.1 MySQL的发展历史及特性12-13
• 2.1.2 MySQL适用的领域13
• 2.1.3 MySQL系统架构13-16
• 2.1.4 MySQL的插件式存储引擎16-17
• 2.2 优化方法与理论17-22
• 2.2.1 优化数据库性能17-18
• 2.2.2 MySQL影响性能的主要因素18-20
• 2.2.3 优化数据库性能的方法20-22
• 2.3 本章小结22-23
• 第三章 系统需求分析及架构设计23-28
• 3.1 功能需求23-24
• 3.2 查询大规模数据的需求24-26
• 3.3 按照动、静数据拆分隔离的架构设计26-27
• 3.4 本章小结27-28
• 第四章 系统数据库设计及优化的研究实现28-56
• 4.1 优化DB服务器的安装及配置28-31
• 4.1.1 优化DB服务器安装28
• 4.1.2 优化DB服务器参数配置28-31
• 4.2 设计与优化日志管理模块表31-48
• 4.2.1 设计日志管理模块表结构字段31-33
• 4.2.2 实现历史与日志实时分离33-35
• 4.2.3 实现日志管理模块高效分区35-37
• 4.2.4 索引设计37-42
• 4.2.5 设计日志表的数据分类模型与视图42-46
• 4.2.6 定期清理及转储历史日志数据46-48
• 4.3 设计与优化被控主机MAC/IP管理模块表48-51
• 4.3.1 分析模块功能48
• 4.3.2 寻找访问频繁的字段48
• 4.3.3 添加冗余提高查询效率(逆规范化表设计)48-50
• 4.3.4 基础数据表存储方案50
• 4.3.5 实现批量数据导入功能50-51
• 4.4 监控策略模板制定模块51-54
• 4.4.1 设计灵活的策略模板表51-53
• 4.4.2 实现组优先的监控策略53-54
• 4.5 网络行为监控系统主要数据表实体关系54-55
• 4.6 本章小结55-56
• 第五章 总结与展望56-59
• 5.1 全文总结56
• 5.2 后续展望56-59
• 致谢59-60
• 参考文献60-61

【相似文献】

中国期刊全文数据库 前10条

1 吕律明;;PHP+MySQL环境下论坛的搭建[J];广东交通职业技术学院学报;2007年01期

2 袁萌;;MySQL让自由力量放光彩[J];信息系统工程;2007年05期

3 ;怎样使MySQL安全以对抗解密高手[J];计算机与网络;2012年23期

4 范新民;;高并发环境下MySQL软硬件配置优化[J];福建师范大学学报(自然科学版);2013年06期

5 何世明;利用MySQL C接口实现多用户通信[J];计算机时代;2003年05期

6 郭小雪;杨洪升;;基于PHP/MySQL的古汉语语料库系统的设计与实现[J];茂名学院学报;2005年06期

7 ;如何保护MySQL重要数据[J];每周电脑报;2006年33期

8 彭敏;;MySQL进军企业级[J];软件世界;2006年21期

9 ;MySQL CEO首次访华 力推企业级应用[J];中国政府采购;2007年04期

10 陈巧;吴峻;;基于Mysql的各高校医学视频资源跨库的共享[J];电脑与电信;2007年10期

中国重要会议论文全文数据库 前10条

1 赵志敏;;MySQL查询高速缓冲关键技术研究[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年

2 梁勇;阳国贵;;MySQL数据库的事务一致性研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年

3 王灵;;MySQL数据库在气象网站中的应用[A];数据库技术在气象领域的应用学术会议论文集[C];2001年

4 秦金;徐国胜;;基于DHT的分布式MySQL复制方案设计[A];第九届中国通信学会学术年会论文集[C];2012年

5 Miki Shimizu;;在NetBeans中构建一个简单的MySQL客户端[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

6 陈海阳;刘秀军;黄江华;;基于JSP与MySQL巡更巡检信息系统的开发与应用[A];山东省测绘学术年会论文集[C];2006年

7 罗凡;彭秀增;申春;李肃义;;MySQL中InnoDB引擎索引树的搜索策略[A];2006年全国理论计算机科学学术年会论文集[C];2006年

8 殷丽;徐海华;吴海涛;;MySQL查询优化技术——索引[A];第八届工业仪表与自动化学术会议论文集[C];2007年

9 徐海华;殷丽;吴海涛;;MySQL触发器在生产安全检查系统中的应用[A];上海市化学化工学会2006年度学术年会论文摘要集[C];2006年

10 丁悦;吴海涛;;MySQL存储过程在生产安全检查系统中的应用[A];第八届工业仪表与自动化学术会议论文集[C];2007年

中国重要报纸全文数据库 前10条

1 邹大斌;MySQL走向高端应用[N];计算机世界;2007年

2 边歆;MySQL：成长的烦恼[N];网络世界;2008年

3 四木;MySQL挺进中端市场[N];计算机世界;2003年

4 本报记者 于翔;MySQL前景依然迷茫[N];网络世界;2010年

5 清水 编译 邹大斌;担忧MySQL的未来[N];计算机世界;2010年

6 于辰涛;MySQL以速度为目标[N];计算机世界;2002年

7 江苏省扬州市邗江区泰安学校 高超;PHP+MySQL论坛简易通[N];中国电脑教育报;2006年

8 张振;携手万里开源 MySQL设立中国研发中心[N];电脑商报;2006年

9 本报记者 于翔;甲骨文的MySQL承诺能否稳定民心?[N];网络世界;2010年

10 王翔;MySQL前路多艰[N];网络世界;2010年

中国硕士学位论文全文数据库 前10条

1 李红艳;基于NDB引擎的MySQL Cluster的部署规则及测试[D];山东大学;2015年

2 丁相民;多租户SaaS应用中的MySQL集群性能研究[D];山东大学;2015年

3 陈建祥;基于MySQL新闻搜索引擎的设计与实现[D];复旦大学;2013年

4 李华明;基于PHP和MySQL的网上购物系统设计与实现[D];电子科技大学;2014年

5 王刚;基于PHP+MySQL的电商平台系统的设计与实现[D];电子科技大学;2014年

6 谭森;基于日志分析的MySQL数据库取证算法研究[D];上海交通大学;2015年

7 赵艳丽;基于SSH+MySQL+MongoDB的教育管理系统[D];青岛理工大学;2015年

8 朱红;基于MySQL集群实现的高性能数据库架构设计[D];上海交通大学;2014年

9 朱林;应用于网络监控系统的数据库设计与实现研究[D];东南大学;2015年

10 刘姗;一种改进的MySQL数据库访问控制的设计与实现[D];华中科技大学;2011年

  本文关键词：应用于网络监控系统的数据库设计与实现研究，由笔耕文化传播整理发布。

本文编号：460188