大数据下MongoDB数据库档案文档存储去重研究

发布时间：2018-11-27 13:20

【摘要】：针对大数据下档案存储的现状,通过分析存储档案文档存在重复的原因,提出一种MongoDB存储档案文档的方法,利用MongoDB的GridFs统一处理不同类型和大小的文件,定义3个集合分别存储上传者记录、文件信息记录和分块文件内容,提出存储中通过文件MD5校验码值是否相同来进行去重研究,并实现去重的程序代码,有一定的实际意义。采用的分布式存储数据库增强了档案文档存储系统的可扩展性。实验表明,该方法能有效地去除重复的档案文档,提高查询效率。
[Abstract]:In view of the current situation of archival storage under big data, this paper analyzes the reason why there is duplication in storing archival documents, puts forward a method of storing archival documents by MongoDB, and uses GridFs of MongoDB to deal with files of different types and sizes in a unified way. Three sets are defined to store uploader record, file information record and block file content respectively. It is of certain practical significance to put forward whether the file MD5 check code value is the same or not, and to realize the program code. The distributed storage database enhances the extensibility of the archival document storage system. Experiments show that this method can effectively remove duplicate files and improve query efficiency.
【作者单位】： 四川文理学院计算机学院;
【基金】：国家档案局项目:基于大数据的档案数据去重模型与方法研究(2014-X-65) 四川省教育厅一般项目:大数据环境下NoSQL数据库应用研究(14ZB0313)
【分类号】：TP311.13;TP333

【参考文献】

相关期刊论文 前9条

1 陈超;王亮;闫浩文;仇阿根;李玉祥;朱芳菲;;一种基于NoSQL的地图瓦片数据存储技术[J];测绘科学;2013年01期

2 雷德龙;郭殿升;陈崇成;巫建伟;吴小竹;;基于MongoDB的矢量空间数据云存储与处理系统[J];地球信息科学学报;2014年04期

3 卫启云;渠伟勇;黄鸿;赵振盛;;城市地理编码的部门信息共享与应用实践[J];测绘通报;2014年10期

4 郭武士;;基于MongoDB GridFS的图片存储方案的实现[J];四川工程职业技术学院学报;2011年04期

5 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

6 吴秀君;;面向电子政务的MongoDB与MySQL混合存储策略[J];计算机与现代化;2014年08期

7 高翔;李兵;;中文短文本去重方法研究[J];计算机工程与应用;2014年16期

8 杨祥清;;存储系统数据去重策略研究[J];信息通信;2014年08期

9 成功;李小正;赵全军;;一种网络爬虫系统中URL去重方法的研究[J];中国新技术新产品;2014年12期

【共引文献】

相关期刊论文 前10条

1 周强;宋志峰;刘易鑫;孙笑玉;胡中南;;一种适用于多移动终端的地图瓦片格式的研究与应用[J];测绘与空间地理信息;2013年S1期

2 徐永龙;李斌;徐明霞;赵立超;;一种数字地图切片算法的实现[J];测绘科学;2014年02期

3 李朝奎;杨武;殷智慧;张强;;MongoDB的遥感影像分布式存储策略研究[J];测绘通报;2014年05期

4 李玲;秦志伟;王崇倡;刘正纲;;基于WMTS标准的2.5维电子地图的构建[J];测绘与空间地理信息;2014年05期

5 胡小春;李陶深;王乐;陈燕;陈宁江;;基于NoSQL的大数据应用设计与性能保障方案研究[J];广西大学学报(自然科学版);2014年03期

6 邱儒琼;郑丽娜;李兵;;基于MongoDB的电子地图瓦片数据存储和服务研究[J];地理空间信息;2014年06期

7 普星;;基于NoSQL数据库的大数据存储安全技术的研究与应用探究[J];电脑知识与技术;2014年35期

8 黄梦龙;;基于MongoDB的城市三维模型数据建库技术探讨[J];地理空间信息;2015年01期

9 刘思尧;;基于ZABBIX的自动化巡检系统的研究与实现[J];电力信息与通信技术;2014年12期

10 秦强;王晏民;黄明;;基于MongoDB的海量遥感影像大数据存储[J];北京建筑大学学报;2015年01期

相关博士学位论文 前1条

1 苗茹;面向WEB可视化的矢量数据流式渐进传输研究[D];河南大学;2014年

相关硕士学位论文 前10条

1 柴化磊;分布式环境下基于文本的海量数据挖掘[D];上海交通大学;2013年

2 李昊;家居导购数据平台的设计与实现[D];北京交通大学;2013年

3 伍昕;基于SOA的仓储管理系统的研究与应用[D];湖南大学;2013年

4 王慕泼;企业集团的智能搜索引擎平台的建立[D];浙江理工大学;2014年

5 李浩;基于Twitter Storm的云平台监控系统研究与实现[D];东北大学;2013年

6 王元刚;面向Agent个体的信念修正系统设计与实现[D];大连海事大学;2014年

7 罗青;面向多源键值数据库的矢量地理数据引擎关键技术研究[D];南京师范大学;2014年

8 朱晓林;地理分析任务驱动的多源地理数据抽取与推送方法研究[D];南京师范大学;2014年

9 刘卓;基于NoSQL的空间数据云存储的研究[D];河南大学;2014年

10 李淼;DOA架构下移动虚拟旅游服务模式与虚拟漫游技术研究[D];成都理工大学;2014年

【二级参考文献】

相关期刊论文 前10条

1 龚健雅;空间数据库管理系统的概念与发展趋势[J];测绘科学;2001年03期

2 王金鑫;;地理空间数据生产网格的体系结构与关键技术[J];测绘科学;2010年02期

3 马照亭;李志刚;孙伟;印洁;;一种基于地址分词的自动地理编码算法[J];测绘通报;2011年02期

4 傅荣校;叶斌;;政务信息管理与数据库管理技术的适用性研究[J];档案学通讯;2007年06期

5 程昌秀;于滨;;一种基于规则的模糊中文地址分词匹配方法[J];地理与地理信息科学;2011年03期

6 张华强;;关系型数据库与NoSQL数据库[J];电脑知识与技术;2011年20期

7 唐玲丽;潘莹;吴丽娟;;变电站环境视频监控系统数据安全存储策略研究与探讨[J];广西广播电视大学学报;2012年01期

8 兰小机;徐齐行;敖杰刚;;MongoDB环境下SaaS多租户体系模型研究[J];测绘通报;2012年10期

9 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

10 范凯;;NoSQL数据库综述[J];程序员;2010年06期

相关硕士学位论文 前2条

1 蒋兴龙;电子政务个性化服务体系结构研究[D];电子科技大学;2006年

2 刘一梦;基于 MongoDB的云数据管理技术的研究与应用[D];北京交通大学;2012年

【相似文献】

相关期刊论文 前10条

1 刘刘;;自动比对文章细节 轻松区分其不同之处[J];网络与信息;2010年04期

2 一页 ,王杰;用好“潜望镜”,文档内容早知道[J];电脑爱好者;2005年21期

3 青山漫步;;制作可以自杀的文档[J];电脑迷;2007年06期

4 曹春华;;多管齐下,让录入文档百分百正确![J];电脑爱好者;2008年16期

5 梁琦;温金超;;智能文档的研究与实现[J];科技创新导报;2009年01期

6 百变神鼠;;巧取“文档投稿赚钱”网文档[J];电脑爱好者;2013年01期

7 ;文档安全解决方案[J];信息安全与通信保密;2006年07期

8 ;你拍一,我拍一,文档协作齐动手[J];电脑爱好者;2009年01期

9 阿呆;;让更多人分享你的文档[J];电脑迷;2009年19期

10 赵玉茗;徐志明;王晓龙;朱鲲鹏;;基于词汇集聚的文档相关性计算[J];电子与信息学报;2008年10期

相关会议论文 前4条

1 李旭;余靖;;一种基于提取指纹方法的数字文档拷贝检测模型[A];2005年全国理论计算机科学学术年会论文集[C];2005年

2 李伟;;文档的标准化在MIS系统建设中的重要意义[A];中国烟草行业信息化研讨会论文集[C];2004年

3 祝建军;黄冬梅;;XML文档更新时键约束保持的研究与实现[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 于亚新;胡军安;吴刚;成杰峰;王国仁;于戈;;一个可视化的文档浏览器X-Explorer的设计与实现[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

相关重要报纸文章 前10条

1 华军;Word文档损坏后的修复[N];江苏科技报;2007年

2 ;快速将Word文档变为图片[N];电脑报;2005年

3 张树忠;Word 2003中浏览多文档技巧[N];中国电脑教育报;2004年

4 ;企业选择透明加密产品“四步曲”[N];网络世界;2010年

5 黑龙江 魏俊岭;PDF轻松看[N];电脑报;2001年

6 清风;认识帮助文档[N];中国电脑教育报;2002年

7 李锋白;汉王新系统可编辑11种PDF文档[N];中国计算机报;2007年

8 ;编辑HTML文档的利器[N];中国电脑教育报;2002年

9 新疆 张迎新;修订审阅有条不紊[N];电脑报;2002年

10 贾培武;Word文档混乱不用愁[N];中国证券报;2005年

相关硕士学位论文 前5条

1 顾钧;基于数字版权系统的PDF文档安全性研究与应用[D];合肥工业大学;2011年

2 王常有;基于固有特征的复印文档取证研究[D];大连理工大学;2013年

3 刘彤;基于BLP模型文档保护系统实现[D];天津大学;2012年

4 高蒙;基于PDF的电子文档保护系统的设计与实现[D];上海交通大学;2008年

5 吴皓;基于COM组件的智能文档模型及其实现研究[D];华中科技大学;2007年

，

本文编号：2360928