基于混合存储的高校历史数据管理关键技术研究

发布时间：2017-05-29 08:04

  本文关键词：基于混合存储的高校历史数据管理关键技术研究，由笔耕文化传播整理发布。

【摘要】：随着高校信息化建设的不断发展,各类信息化系统中积累的历史数据也会越来越多,这些不断膨胀的历史数据占用了大量系统资源,需要将这些历史数据从应用系统中分离出来并进行有效管理。本文研究目前高校历史数据的特点以及其存储管理需求,分析当前海量历史数据的研究现状,提出了基于Oracle和MongoDB混合存储的方案以解决高校历史数据管理问题。本文具体研究工作如下：(1)分析当前高校历史数据的特点,研究当前历史数据相关存储管理技术,提出了基于Oracle和MongoDB混合存储的方案以解决高校历史数据存储管理问题。(2)研究MongoDB数据库分布式存储、自动分片技术、数据分区策略等,通过横向扩展,解决高校历史数据海量存储问题,并改进MongoDB自动分片的均衡算法,使得MongoDB的集群负载更加均衡。(3)研究MongoDB逻辑模型,对历史数据集进行逆规范化设计,解决高校历史数据模式不一致问题并实现半结构化数据高效存储。研究GridFS,解决高校海量非结构化历史数据存储管理问题。(4)研究异构数据库的统一访问接口。提出了扩展SQL文法以支持混合存储的历史数据的统一访问接口；设计数据目录,实现了SQL访问请求路由；设计访问语言转换算法,实现了SQL访问语言与MongoDB访问语言之间的映射。(5)实现基于Oracle和MongoDB混合存储的高校历史数据管理原型系统-WisHistoric.针对高校历史数据特点及其存储管理需求,设计相关测试方案,并对测试结果进行了分析。实验证明,本文实现的WisHistoric原型系统能够很好地满足高校历史数据存储管理需求。
【关键词】：历史数据 混合存储 MongoDB 统一访问接口
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 引言8-14
• 1.1 研究背景8-9
• 1.2 国内外相关研究现状9-11
• 1.3 研究目标和研究内容11-12
• 1.4 本文组织结构12-14
• 第二章 相关技术理论14-21
• 2.1 MongoDB14-18
• 2.1.1 海量历史数据存储15
• 2.1.2 分片与数据分布15-17
• 2.1.3 MongoDB逻辑模型17-18
• 2.2 统一访问接口相关技术18-19
• 2.2.1 访问语言差异消除技术18-19
• 2.2.2 SQL解析19
• 2.3 本章小节19-21
• 第三章 WisHistoric系统架构设计21-25
• 3.1 WisHistoric系统架构21
• 3.2 存储层设计21-22
• 3.3 数据访问层设计22-24
• 3.4 本章小结24-25
• 第四章 WisHistoric存储研究与实现25-35
• 4.1 海量历史数据存储实现25-27
• 4.1.1 分片与数据分布25-26
• 4.1.2 分片均衡器改进26-27
• 4.2 异构数据存储研究与实现27-33
• 4.2.1 逆规范化设计研究28-29
• 4.2.2 半结构数据高效存储29-31
• 4.2.3 数据模式不一致31-32
• 4.2.4 非结构化数据存储32-33
• 4.3 信息生命周期管理33-34
• 4.4 本章小结34-35
• 第五章 WisHistoric统一访问接口设计与实现35-46
• 5.1 引言35-36
• 5.2 SQL解析36-39
• 5.2.1 SQL文法扩展36-37
• 5.2.2 SQL解析37-39
• 5.3 访问请求路由设计39-41
• 5.3.1 数据目录设计39-40
• 5.3.2 访问请求路由40-41
• 5.4 转换算法研究与实现41-45
• 5.4.1 转换算法设计41-43
• 5.4.2 操作接口映射43
• 5.4.3 条件集映射43-45
• 5.4.4 分组和聚集函数映射45
• 5.5 本章小结45-46
• 第六章 WisHistoric原型系统的实现与性能测试46-53
• 6.1 WisHistoric原型系统的实现46-48
• 6.1.1 系统软件和硬件环境46
• 6.1.2 WisHistoric系统的实现46-47
• 6.1.3 WisHistoric系统应用示例47-48
• 6.2 WisHistoric系统相关测试与分析48-51
• 6.2.1 海量数据读写性能48-50
• 6.2.2 数据中间层的延迟时间测试50-51
• 6.3 本章小结51-53
• 第七章 总结与展望53-55
• 7.1 工作总结53-54
• 7.2 工作展望54-55
• 致谢55-56
• 参考文献56-58

【相似文献】

中国期刊全文数据库 前10条

1 刘宝珠;;历史数据的维护及利用[J];医学信息;2006年11期

2 李鹏;;中电达通:解决历史数据的运营难题[J];通信世界;2010年20期

3 何海江;自动化系统历史数据访问及聚合研究[J];工业控制计算机;2004年09期

4 刘清林,苏翔,史恭波;基于表关系图的历史数据转储方案及应用研究[J];华东船舶工业学院学报(自然科学版);2005年04期

5 雷赫;;找寻归档后的数据[J];中国计算机用户;2009年01期

6 王学伟;涂三军;肖鹏斌;杨智勇;;一种基于历史数据的备件需求量计算方法[J];舰船科学技术;2009年11期

7 李彤彤;;历史数据服务在新系统中的运用[J];信息系统工程;2012年12期

8 何伟胜;;医院信息系统历史数据的管理与使用[J];安防科技;2006年01期

9 李胜,赵英凯;利用SQL Server和VB实现分布式历史数据的存储与查询[J];计算技术与自动化;2000年04期

10 赵倩;冯光升;李莉;;考虑历史数据的软件可信演化分析方法[J];计算机科学;2013年05期

中国重要会议论文全文数据库 前3条

1 张冬冬;李建中;王伟平;郭龙江;;时间序列数据流上历史数据的聚集算法[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

2 朱淑仙;;对当前棉花、棉纺形势的理解和探讨[A];黄河三角洲棉花生产发展论坛论文集[C];2005年

3 许宪春;;关于经济普查年度GDP核算的变化[A];2005年冬季CCER中国经济观察（总第4期）[C];2006年

中国重要报纸全文数据库 前10条

1 记者 宋时飞;国家统计局公布国内生产总值历史数据修订结果[N];中国经济导报;2006年

2 本报通讯员 黄欣 明道东;打造查询历史数据的便捷通道[N];中国城乡金融报;2008年

3 ;革历史数据的命[N];计算机世界;2004年

4 ;关于我国国内生产总值历史数据修订结果的公告[N];中国信息报;2006年

5 本报记者 赵子强;22年历史数据显四特征 红九月几率近五成[N];证券日报;2013年

6 财政部科研所 杨周南教授;软件服务筑渠新世纪[N];中国计算机报;2001年

7 潘 t，

本文编号：404451