移动互联网环境下树型大数据存储方法研究

发布时间：2017-05-14 05:13

  本文关键词：移动互联网环境下树型大数据存储方法研究，由笔耕文化传播整理发布。

【摘要】：随着互联网技术的不断发展,特别是云存储技术与云计算技术的不断更新,互联网数据正在爆炸式地增长。树型数据结构作为一种常见的非线性数据结构,在云文档存储、云通讯录、电子商务产品层级目录等各种网络系统中得到了非常广泛的应用,同时也为海量树型数据的统一存储管理以及手持设备对数据中心数据访问带来了巨大的挑战。传统的关系型数据库有着非常优异的性能,但由于强一致性与强事务性等规则约束,关系型数据不适应于大规模的横向扩展,这使得关系型数据库应用在非结构化或半结构化的数据存储时存在诸多问题。LDAP协议较好地解决了目录型静态数据的查询问题,但是由于LDAP牺牲了写操作性能以获取查询上的优化,因此不适用于更新频繁,以及访问控制策略变动较多时的树型结构数据处理场景。 论文针对树型结构数据,提出了一种基于非关系型数据存储的树型数据存储访问方法,以键值对访问方式代替传统关系型数据库的B+树索引,通过冗余数据实现树型节点关系的存储,从而实现树型节点数据间的完全解耦,达到树型结构数据高效存储与访问的目的。在树型结构存储模型的基础上,论文提出了一种基于树型结构数据的网络同步协议,针对移动设备受硬件条件限制,存储容量有限,计算能力弱等特征,采用客户端缓存部分数据,以及按需层序请求服务器数据等策略,充分利用树型结构的层序传递特性,设计出高效的树型同步模型,实现移动端设备对服务端数据的高效缓存与访问。 论文所提出的方法在中国电信“翼聊”软件的融合通讯录中得到了应用,在稳定性的基础上,提高了融合通讯录服务器的数据存取效率与可扩展性,为海量树型结构数据的存储访问提供了一种新思路。
【关键词】：树型数据 移动互联网 海量数据 存储 访问控制 同步
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333;TP311.13
【目录】：

• 摘要3-4
• Abstract4-10
• 第1章 绪论10-15
• 1.1 研究背景10-11
• 1.2 论文课题背景及主要工作11-13
• 1.3 论文章节安排13-15
• 第2章 相关技术及国内外研究现状15-26
• 2.1 XML相关技术介绍15-16
• 2.2 树型结构相关概念16-17
• 2.2.1 树的定义16
• 2.2.2 树的相关操作16-17
• 2.3 非关系型数据库相关介绍17-18
• 2.4 国内外研究现状18-24
• 2.4.1 树型结构存储研究现状18-21
• 2.4.2 访问控制技术研究现状21-23
• 2.4.3 数据同步协议研究现状23-24
• 2.5 本章小结24-26
• 第3章 树型结构数据的存储及访问控制26-49
• 3.1 树型结构数据存储访问的需求26-27
• 3.2 服务器端存储设计模型27-31
• 3.3 访问控制模块设计31-40
• 3.3.1 条件假设32-33
• 3.3.2 数据授权访问方式33-34
• 3.3.3 色叠加算法34-39
• 3.3.4 模型描述39-40
• 3.4 树型结构数据存储架构40-41
• 3.5 客户端树缓存实现41-45
• 3.5.1 缓存维护方案41-43
• 3.5.2 缓存替换策略43-44
• 3.5.3 客户端树缓存设计44-45
• 3.6 实验及性能分析45-48
• 3.6.1 测试环境45-46
• 3.6.2 测试结果46-48
• 3.7 本章小结48-49
• 第4章 基于时间戳的树型结构数据同步技术49-64
• 4.1 树型同步协议相关概念与模型假设49-52
• 4.1.1 树型同步协议的相关概念49-51
• 4.1.2 同步产生条件51-52
• 4.1.3 假设条件52
• 4.2 树型同步协议的同步模式52-55
• 4.2.1 层序同步52-53
• 4.2.2 增量同步53-54
• 4.2.3 慢同步54
• 4.2.4 刷新同步54-55
• 4.3 树型同步协议描述55-59
• 4.3.1 同步流程55-56
• 4.3.2 包和消息56-59
• 4.4 时间戳更新算法59-60
• 4.5 异常情况处理60-62
• 4.6 数据冲突解决策略62-63
• 4.7 本章小结63-64
• 第5章 中国电信翼聊产品通讯录系统的设计与实现64-72
• 5.1 中国电信翼聊通讯录系统64-68
• 5.1.1 系统简介64-65
• 5.1.2 系统体系架构65-68
• 5.2 服务端存储68-70
• 5.2.1 基于NoSQL的快速访问存储68-69
• 5.2.2 一致性哈希算法构造服务端集群69-70
• 5.3 基于角色的访问控制70
• 5.4 客户端通讯录缓存与同步70-71
• 5.5 本章小结71-72
• 第6章 总结与展望72-74
• 6.1 论文总结72-73
• 6.2 工作展望73-74
• 参考文献74-77
• 攻读硕士学位期间主要的研究成果77-78
• 致谢78

【相似文献】

中国期刊全文数据库 前10条

1 郭琳,王京军,苏群,陈志军,程懋泰,周玉华;数据存储技术的应用[J];计算机系统应用;2002年11期

2 葛逢;储域网络技术之我见[J];现代情报;2003年10期

3 高宁,段君文;网络数据存储探讨之三 网络数据信息存储的未来发展趋势[J];数据通信;2004年01期

4 R.Alan Hodgett ,徐国华;数据管理:电子商务数据的存储问题[J];华南金融电脑;2003年11期

5 高宁,段君文;网络数据存储探讨之二 网络数据信息存储的优化管理与技术分析[J];数据通信;2003年06期

6 陈福;杨家海;杨扬;;网络拓扑发现新算法及其实现[J];电子学报;2008年08期

7 史鸣飞 ,龙东东;SAN&NAS:数据存储技术介绍[J];中国税务;2002年06期

8 赖莉;数据存储方案分析[J];渝西学院学报(自然科学版);2004年04期

9 王东;王建勇;王丽英;马华杰;;ADO数据库接口技术在串口通信程序中的应用[J];仪器仪表用户;2006年01期

10 丰树谦;李体红;;SQL Sever数据存储的安全管理[J];焦作大学学报;2007年03期

中国重要会议论文全文数据库 前10条

1 李庆印;;公安数据备份技术研究及策略设计[A];全国计算机安全学术交流会论文集（第二十二卷）[C];2007年

2 昝涛;王民;费仁元;徐洪安;;基于LabVIEW的网络监测与诊断系统中数据传输与存储机制研究[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年

3 李彬彬;易宝林;刘斌;;基于信源学的植被光谱数据的存储技术研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年

4 李晓辉;;中小电台数据管理[A];2006全国广播电视发射技术论文集（1）[C];2006年

5 宾月景;黄蕾;赵福群;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];2006中国科协年会——数字成像技术及影像材料科学学术交流会论文集[C];2006年

6 杨甲森;赵娜;;行星数据系统研究[A];中国空间科学学会空间探测专业委员会第十九次学术会议论文集（上册）[C];2006年

7 宾月景;赵福群;黄蕾;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集（下册）[C];2006年

8 谈超洪;陈友初;李承林;;广西电子政务外网数据中心设计与应用[A];广西计算机学会2008年年会论文集[C];2008年

9 陈进才;程伟;陈希;周功业;;寄生存储冗余机制与实现技术[A];第15届全国信息存储技术学术会议论文集[C];2008年

10 苏波;陈芳;;GE Smallworld:一个面向企业的GIS平台[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年

中国重要报纸全文数据库 前10条

1 本报记者 李健;服务成为数据存储市场的重头[N];中国经营报;2001年

2 ;惠普 甘肃中行数据存储整合[N];网络世界;2001年

3 ;网络存储是校园数据存储的新希望[N];中国电脑教育报;2006年

4 本报记者 傅桦;中国市场养肥数据存储巨头[N];第一财经日报;2006年

5 赫澄;EMC购RSA,存储牵手安全[N];中国国门时报;2006年

6 饶宇锋;数据存储是当下互联网最大商机[N];财经时报;2007年

7 日立数据系统公司CTO Hu Yoshida;数字化医疗的挑战[N];中国计算机报;2009年

8 四川 万琳;提高24C04数据存储可靠性的方法[N];电子报;2002年

9 谭勇 晓弈;网络时代的数据存储[N];人民邮电;2001年

10 记者　蓝岸;我市建成华南最大互联网数据中心[N];深圳特区报;2006年

中国博士学位论文全文数据库 前10条

1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

2 李昊e，

本文编号：364360