基于数据通道的非结构化数据多存储系统

发布时间：2017-08-04 04:05

  本文关键词：基于数据通道的非结构化数据多存储系统

  更多相关文章： 非结构化数据 多存储系统 数据同步

【摘要】：随着互联网技术的迅速发展,互联网上的数据类型日益多样,应用的种类也日趋复杂。单一种类的传统关系型数据库或者NoSQL数据库已经无法满足数据的各类存储处理需求。而在为了应对复杂数据应用而诞生的多存储系统中,如何在多个存储组件之间进行数据同步就成为了影响多存储系统可用性和扩展性的关键问题。传统的定时数据迁移与客户端多路写或是会引入新的一致性问题或是无法满足可扩展的需求,这使得非结构化数据多存储系统的发展受到了限制。基于以上问题,本文提出了一种基于数据通道的非结构化数据多存储系统,主要研究内容包括以下几个方面：第一,针对传统数据同步方式中存在的问题设计了用于解决非结构化数据多存储系统中数据同步问题的数据通道。数据通道采用Coprocessor索引信息记录与WAL日志文件分析两种方式捕获主数据库HBase中的数据变更事件,经序列化器序列化后复制并保存在变更分发集群之中。其他存储组件通过对变更分发集群中中继进程发起的查询请求获取变更事件,以快照加增量的形式同步主数据库中的数据。第二,以数据通道为数据同步手段构建非结构化数据多存储系统。围绕数据通道与存储组件之间的交互,本文描述了数据通道在多存储系统中的作用以及完成的工作。并以一个实际的互联网应用为例,表述数据通道用于解决多存储系统中数据同步与迁移的便利性与可行性,证明了数据通道的实用性。第三,从可用性、可扩展性等角度对数据通道进行实验,测试其在多种情况下的性能与表现,并将其与传统的直接数据读取与客户端多路写等数据同步方式进行对比,验证了数据通道具有高可用、可扩展的特点,证明了数据通道为非结构化数据多存储系统的构建提供了新的思路。
【关键词】：非结构化数据 多存储系统 数据同步
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-11
• 第1章 绪论11-14
• 1.1 课题背景11
• 1.2 本文的工作内容11-12
• 1.3 本文的组织结构12-13
• 1.4 本章小结13-14
• 第2章 国内外研究现状14-25
• 2.1 概述14
• 2.2 非结构化数据存储处理解决方案14-19
• 2.2.1 HBase14-16
• 2.2.2 FastDFS16-18
• 2.2.3 Virtuoso18-19
• 2.3 数据同步19-22
• 2.3.1 数据同步方式19-20
• 2.3.2 DataBus20-22
• 2.4 多存储系统22-24
• 2.4.1 SAP HANA22-23
• 2.4.2 SAP HANA系统中的数据同步23-24
• 2.5 本章小结24-25
• 第3章 非结构化数据多存储系统数据通道25-44
• 3.1 概述25-26
• 3.2 多存储系统数据通道整体架构26-27
• 3.3 数据变更模型27-28
• 3.4 数据变更捕获器28-38
• 3.4.1 第一类数据变更捕获器29-33
• 3.4.2 第二类数据变更捕获器33-38
• 3.5 变更序列化器38-40
• 3.6 变更分发集群40-42
• 3.7 数据通道与传统数据同步方式的比较42-43
• 3.8 本章小结43-44
• 第4章 基于数据通道的非结构化数据多存储系统44-58
• 4.1 数据通道在多存储系统中的应用44-51
• 4.1.1 总体架构44-45
• 4.1.2 多存储组件定义45-46
• 4.1.3 数据通道与多存储组件的交互46-51
• 4.2 互联网知识存储系统51-55
• 4.2.1 系统设计51-52
• 4.2.2 数据存储52-54
• 4.2.3 数据处理54-55
• 4.3 知识存储系统的数据同步55-57
• 4.3.1 数据变更抓取配置55-56
• 4.3.2 变更分发集群的部署56-57
• 4.3.3 数据变更的应用57
• 4.4 本章小结57-58
• 第5章 实验与应用展示58-68
• 5.1 实验环境58
• 5.2 数据通道性能58-62
• 5.2.1 数据通道可用性实验58-60
• 5.2.2 数据通道可扩展性实验60-62
• 5.3 与其它数据同步方式比较62-66
• 5.3.1 与直接数据读取的比较实验62-64
• 5.3.2 与客户端多路写的比较实验64-66
• 5.4 知识存储系统应用展示66-67
• 5.5 本章小结67-68
• 第6章 总结与展望68-70
• 6.1 工作总结68
• 6.2 未来展望68-70
• 6.2.1 存储组件的分组协同68-69
• 6.2.2 存储组件热拔插的支持69
• 6.2.3 主数据库数据快照存储69-70
• 参考文献70-74
• 攻读硕士学位期间主要的研究成果74-75
• 致谢75

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 朱海涛;嵌入式网络存储系统的设计与应用[D];大连理工大学;2010年

6 王如军;模块化柔性存储系统[D];长春光学精密机械学院;2001年

7 赵靖;片段存储系统[D];上海交通大学;2007年

8 郅斌;一种私有云存储系统的设计与实现[D];北京邮电大学;2011年

9 祝青;混合存储系统研究[D];上海交通大学;2013年

10 张达;河北电视台高清新闻网存储系统分析[D];华北电力大学;2011年

，

本文编号：617633