基于分布式文件存储的个人信息融合系统的研究与实践

发布时间：2020-05-08 12:42

【摘要】： 随着信息化进程的推进,多个企业间及企业内部各信息系统进行数据交换、整合的需求愈加强烈。但由于信息系统开发的阶段性,许多企业内部的数据库应用系统都是分布、独立、异构的系统,在各自的局域网内形成信息孤岛,无法实现数据共享。这就使得数据集成成为数据库应用领域的一个重要研究课题。于此同时,数字信息量激增,海量数据的产生需要与之相匹配的高效计算能力来处理数据,这使得传统的单机数据集成模式不堪重负。云计算作为一个新型的面向服务的计算模式,很好的适应了数据集成的需求。 本文研究了在云计算环境下,以高效的数据存储管理以及高性能的数据处理为出发点,基于分布式文件存储构建多源异构数据的企业级数据集成应用系统的问题。 在高效数据存储管理方面,提出了一种基于容器的分布式文件存储系统。给出了基于容器的存储模型,定义了模型中文件、容器、存储节点、主节点等基本概念,并描述了集群体系架构；介绍了元数据维护方案、文件标识及文件的访问算法。 在高性能数据处理方面,面对数据集成过程中数据清洗所要求的计算规模与单机的运算能力间存在的巨大差距,针对大数据量小文件的现状,在上述基于容器的分布式文件存储系统的数据管理模式的基础上,研究并设计了小文件运用Map/Reduce并行计算模型的解决方案,将运算分布在集群环境中。 最后,依据上述两点研究设计了多源异构的个人信息数据集成,完成了个人信息融合系统构建,并详细介绍了各模块的功能和工作原理,结合项目真实数据进行了验证。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 李东晓,刘世元,史铁林,杨叔子;面向大型成套设备的分布式监测诊断系统[J];计算机应用;1996年06期

2 陈培林，史铁林，，韩西京，杨叔子;机械设备分布式诊断专家系统的任务描述与分解[J];机械科学与技术;1996年03期

3 郭弘;感受互动的魅力——徐光yP教授谈新一代分布式多媒体信息系统[J];微电脑世界;2000年22期

4 罗英伟;基于Agent的分布式地理信息系统研究[J];测绘学报;2001年04期

5 胡颖;分布式数字城市结构的设想[J];引进与咨询;2001年02期

6 康尔良;吕生;;大型工厂主要电力设备的计算机监控系统[J];电工技术;2001年02期

7 张会田;;基于WEB的分布式电子文献传递系统设计与实现[J];图书馆杂志;2003年10期

8 左琪,李善平;一种可扩展的分布式VoD系统[J];电视技术;2005年S1期

9 袁士强 ,余宗宝;泵群监控系统的开发[J];中国仪器仪表;2005年08期

10 闫军华,朱二莉,王姝;CORBA在煤矿监控系统集成方面的应用[J];工矿自动化;2005年05期

相关会议论文 前10条

1 张德明;;构建分布式声纳信号处理系统[A];中国声学学会2002年全国声学学术会议论文集[C];2002年

2 刘辉兰;李陶深;葛志辉;;基于代理的分布式入侵检测系统中网络代理的相关技术研究[A];广西计算机学会2005年学术年会论文集[C];2005年

3 韩希先;李建中;;分布式有序表中一种有效的在线计划批量插入方法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

4 郭柯;代璐;周林;;分布式并网发电系统孤岛检测方法综述[A];重庆市电机工程学会2010年学术会议论文集[C];2010年

5 李其莹;张洪霞;;配电网中实现小电流接地选线一种方案[A];华东六省一市电机工程（电力）学会输配电技术研讨会2002年年会山东电机工程学会交流论文集[C];2002年

6 周详;王龙明;;建立分布式防护的安全体系[A];中国烟草行业信息化研讨会论文集[C];2004年

7 高长寿;陈定方;郭蕴华;周丽琨;;分布式路由器级拓扑发现技术研究[A];2005年十二省区市机械工程学会学术年会论文集（湖北专集）[C];2005年

8 乔善平;朱波;赵玲;;基于移动Agent的0-1背包问题分布式求解[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

9 林然;;一种分布式VOD管理方案[A];四川省通信学会2007年学术年会论文集[C];2007年

10 张红娟;刘晖;唐健;钱闯;;分布式CORS服务平台的设计与原型系统的开发实现[A];第三届中国卫星导航学术年会电子文集——S08卫星导航模型与方法[C];2012年

相关重要报纸文章 前10条

1 晓京;做分布式呼叫中心[N];中国计算机报;2003年

2 记者 张磊;分布式能源技术研讨会在京召开[N];中国电力报;2004年

3 盖俊飞 林楠;分布式ISA防火墙与服务器的配置[N];电脑报;2003年

4 刘轶轩;IONA：分布式SOA四两拨千斤[N];通信产业报;2007年

5 ;中兴通讯分布式“3G”服务[N];中国计算机报;2002年

6 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统趋向成熟[N];中国计算机报;2005年

7 国防科学技术大学计算机学院软件所 董勇 周恩强;构建分布式文件系统[N];中国计算机报;2005年

8 李芸 星际网络公司;IP分布式呼叫中心 让企业驶离信息孤岛[N];计算机世界;2002年

9 记者邰举;韩分布式超级计算机年底诞生[N];科技日报;2003年

10 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统的历史与现状[N];中国计算机报;2005年

相关博士学位论文 前10条

1 王宇翔;分布式网络地理信息系统研究[D];中国科学院研究生院（遥感应用研究所）;2002年

2 董红军;基于多Agent的分布式CAPP及工艺信息管理研究[D];西北工业大学;2000年

3 娄渊胜;基于构件的分布式防汛信息系统框架研究[D];河海大学;2002年

4 刘峰;仪用主从耦合分布式并行处理容错系统体系结构研究[D];浙江大学;2003年

5 王加虎;分布式水文模型理论与方法研究[D];河海大学;2006年

6 傅涛;基于数据挖掘的分布式网络入侵协同检测系统研究及实现[D];南京理工大学;2008年

7 唐秋华;分布式虚拟环境建模研究[D];武汉理工大学;2005年

8 侯梅毅;分布式同步发电机的孤岛检测原理与实现[D];山东大学;2010年

9 朱旭琪;分布式信息压缩算法研究[D];北京邮电大学;2011年

10 周克昌;分布式地震数据库系统的研究与实践[D];中国地震局地球物理研究所;2003年

相关硕士学位论文 前10条

1 何娟;基于分布式文件存储的个人信息融合系统的研究与实践[D];北京邮电大学;2010年

2 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

3 啜俊娜;基于Hadoop的分布式文件存储服务平台设计与实现[D];浙江大学;2012年

4 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年

5 周峰;互联网文件存储服务系统研究[D];华中科技大学;2011年

6 薛沛林;基于IP网的分布式视频会议系统的研究与实践[D];暨南大学;2001年

7 严芬;分布式多层应用系统及其安全控制的研究与应用[D];扬州大学;2002年

8 王雄;基于网络的分布式测试系统开放式架构研究与实现[D];西北工业大学;2003年

9 李佐儒;分布式数字监控系统及其在安全生产管理中的应用[D];四川大学;2003年

10 郑大志;基于Web服务和CORBA的分布式网络管理体系结构研究[D];武汉科技大学;2003年

本文编号：2654667