面向分布式环境的数据交互与存取模型研究

发布时间：2017-10-11 01:06

  本文关键词：面向分布式环境的数据交互与存取模型研究

  更多相关文章： 分布式系统 消息中间件 异构数据同步 数据交互接口 存储与优化

【摘要】：分布式环境下异构系统间的数据交互与共享技术，是分布式领域的关键技术之一。伴随网络结构的日趋复杂以及网络规模的日益扩大，具有分布式特点的异构环境不断增加，各种数据量也随之剧增，“信息孤岛”问题愈演愈烈。美国互联网数据中心研究表明，互联网数据每年将增长50%，两年便可翻倍；目前，最近几年所产生的数据占世界数据总和的90%以上。综上所述，系统的分布式特点和数据量的剧增，使人们逐步进入信息化、大数据时代，系统内或系统间的数据交互在可靠性、灵活性和实时性等方面尚有许多不足。目前，我国教育信息化建设在基础设施和资源建设方面已初具规模，但在一体化信息建设方面尚显不足，亟需一套比较完善的数据交互和共享类产品。 为了满足上述不足，本文面向分布式环境下的数据交互与海量数据存取领域进行研究。在数据交互方面，首先，借鉴数据库同步复制机制，并结合差异同步法，提出以事务为单位的基于更新日志的数据同步法；通过对事务操作进行监听，将成功执行的事务对应的数据变更操作，拆分为对应的原子SQL操作，并分析各个操作间的关系；提出日志项合并算法，对各操作进行合并，之后写入更新日志。然后，，基于已有的数据传输与同步方案，使用消息中间件技术，提出基于发布/订阅的数据传输模型，用于传输更新日志实现数据交互。最后，将三者结合，提出面向分布式环境的通用数据交互接口模型。在数据存取方面，基于关系数据库为主、NoSQL为辅的架构，提出关系数据库为主、NoSQL为高速缓存的数据存取模型；通过创建一个数据库字段访问频率函数和阈值，将访问频率大于阈值的字段存储到NoSQL，从而提高了缓存命中率。数据交互接口模型和数据存取模型共同组成数据交互与存取模型，本文将该模型应用于学位信息上报部分作为应用实例，设计并实现了通用学位信息上报组件。在该实例中，通过变更数据捕获器捕获高校端变更的学位信息，使用合并算法将变更的数据压缩后写入更新日志；然后，利用组代理消息中间件传输日志到学位中心端，通过更新监听器解析执行更新日志内容，将变更数据同步到关系数据库；最后，学位中心端同步控制器将关系数据库的变更数据同步至HBase，利用读写控制器控制用户的读写操作，并修改数据库字段访问频率。通过分析实验和应用结果，证明本文研究提出的该模型具有重要的理论意义和应用价值，并可有效满足学位上报过程中数据交互在实时性和灵活性等诸多方面的要求。
【关键词】：分布式系统 消息中间件 异构数据同步 数据交互接口 存储与优化
【学位授予单位】：济南大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要7-8
• Abstract8-10
• 第一章 绪论10-18
• 1.1 课题的研究背景与意义10-12
• 1.2 研究现状12-14
• 1.3 论文主要研究内容14-15
• 1.4 论文主要创新点15-16
• 1.5 论文的组织结构16-18
• 第二章 相关理论与技术18-22
• 2.1 消息中间件18-19
• 2.2 数据同步19-20
• 2.3 无模式数据库20-22
• 第三章 面向分布式环境的通用数据交互接口模型22-38
• 3.1 基于发布/订阅的数据传输模型23-26
• 3.1.1 模型中各部件功能描述24-25
• 3.1.2 改进的组代理机制25-26
• 3.2 基于更新日志的数据同步方法26-35
• 3.2.1 方法中各部件功能描述27-30
• 3.2.2 主要操作标识的描述30-32
• 3.2.3 日志项合并算法32-33
• 3.2.4 同步过程概述33-35
• 3.3 模拟实验与性能分析35-38
• 3.3.1 实验环境35-36
• 3.3.2 实验与结果36-38
• 第四章 面向分布式环境的数据存取模型38-52
• 4.1 存取过程概述39-44
• 4.1.1 准备工作39-40
• 4.1.2 模型要求40-42
• 4.1.3 工作流程42-44
• 4.2 访问频率函数44-46
• 4.3 替换策略46-47
• 4.4 模拟实验与性能分析47-52
• 4.4.1 实验环境47
• 4.4.2 实验与结果47-52
• 第五章 应用实例的设计与实现52-64
• 5.1 系统分析与设计52-53
• 5.2 系统核心模块的设计与实现53-61
• 5.2.1 变更数据捕获器的设计与实现53-54
• 5.2.2 数据交互的设计与实现54-59
• 5.2.3 数据更新与结果反馈的设计与实现59-60
• 5.2.4 数据库存取的设计与实现60-61
• 5.3 应用结果分析61-64
• 第六章 结论与展望64-66
• 6.1 全文总结64-65
• 6.2 下一步工作65-66
• 参考文献66-70
• 致谢70-72
• 附录72-73

【参考文献】

中国期刊全文数据库 前10条

1 杨淼淇;叶国权;孙纳新;;异构数据库的变化捕捉和动态同步策略的研究与比较[J];办公自动化;2010年06期

2 王陆;;信息化教育研究中的新内容:互动关系研究[J];电化教育研究;2008年01期

3 王峰;刘娟;;基于消息中间件的异构数据集成实现[J];电力信息化;2009年07期

4 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期

5 张书波;康来成;黄莹;;分布式、异构、多时态空间数据的同步复制技术研究[J];国土资源信息化;2010年04期

6 徐晶,许炜;消息中间件综述[J];计算机工程;2005年16期

7 顾荣庆;杨开杰;徐汀荣;;分布式数据缓存技术研究[J];计算机应用与软件;2011年06期

8 刘磊;熊小鹏;;最小驻留价值缓存替换算法[J];计算机应用;2013年04期

9 马腾;;事务的数据同步方法在地理网格计算池中的应用[J];武汉理工大学学报;2010年07期

10 徐富亮;周祖德;;变化数据捕获技术研究[J];武汉理工大学学报(信息与管理工程版);2009年05期

本文编号：1009606