基于NoSQL的文件型大数据存储技术研究

发布时间：2018-01-19 19:48

  本文关键词： 非关系数据库 MongoDB 云存储结构 文件数据存储算法　出处：《制造业自动化》2014年06期 　论文类型：期刊论文

【摘要】：针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储空间可自由扩展。采用数据分片的方法,实现了文件型大数据的均衡存储,并给出了存储文件数据一般算法。基于NoSQL技术的大数据存储是一种新型应用方式,该系统的负载均衡能力和可扩展度均优于传统技术。
[Abstract]:For the growing demand for file data storage in cloud computing. This paper puts forward the storage technology of file type big data in non-relational database (not Only SQL), which is independent of the traditional mixed storage method of file data between information system and file system. The MongoDB database cluster is used as the storage base, the data is stored in the distributed MongoDB nodes, and the storage space can be expanded freely. This paper realizes the balanced storage of file type big data and gives the general algorithm of storing file data. Big data storage based on NoSQL technology is a new application method. The load balancing ability and extensibility of the system are better than the traditional technology.
【作者单位】： 防灾科技学院灾害信息工程系;
【基金】：河北省教育厅高等学校科学技术研究计划项目(Z2013108) 中央高校基本科研业务费 廊坊市科学技术研究与发展计划项目(2013011021)
【分类号】：TP311.13;TP333
【正文快照】： 0引言时至今日,无论专业人士还是普通信息技术用户都高频接触到这样几个专业术语,他们分别是云计算、云存储和大数据(Big Data)。企业战略集团(ESG)认为,大数据是“大小规模超过常规处理能力边界的数据集,它使得技术部门不得不采取非常规手段”[1],换言之,大数据是指突破传统

【参考文献】

相关期刊论文 前4条

1 孙勇;林菲;王宝军;;面向云计算的键值型分布式存储系统研究[J];电子学报;2013年07期

2 阳小珊;罗洪元;;海量信息存储测评技术研究与服务平台建设[J];计算机工程与应用;2013年17期

3 申德荣;于戈;王习特;聂铁铮;寇月;;支持大数据管理的NoSQL系统研究综述[J];软件学报;2013年08期

4 索剑;罗中良;;关系数据库中无模式数据存取实现方法[J];中山大学学报(自然科学版);2013年04期

【共引文献】

相关期刊论文 前1条

1 陈智;梁娟;;基于知识点的试题库随机组卷抽卷系统的设计[J];考试周刊;2013年82期

【二级参考文献】

相关期刊论文 前10条

1 张民贵;刘斌;;IP网络的快速故障恢复[J];电子学报;2008年08期

2 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

3 唐李洋;倪志伟;李应;;基于Cassandra的可扩展分布式反向索引的构建[J];计算机科学;2011年06期

4 姚林;张永库;;NoSQL的分布式存储与扩展解决方法[J];计算机工程;2012年06期

5 冯祖洪;MySQL的分布式数据库访问法[J];计算机应用;2002年08期

6 曾凯;曾斌;杨英;平戈久;姜小丽;;扩展SQL跟踪数据技术在数据库性能诊断上的应用[J];计算机应用与软件;2006年01期

7 孟必平;王腾蛟;李红燕;杨冬青;;分片位图索引:一种适用于云数据管理的辅助索引机制[J];计算机学报;2012年11期

8 周渊;王力生;;MySQL中InnoDB存储引擎在NUMA系统上的优化[J];科技传播;2011年01期

9 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

10 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期

相关硕士学位论文 前4条

1 蔡柳青;基于MongoDB的云监控设计与应用[D];北京交通大学;2011年

2 王锐;基于MongoDB的关系网络分析技术研究与应用[D];国防科学技术大学;2011年

3 刘一梦;基于 MongoDB的云数据管理技术的研究与应用[D];北京交通大学;2012年

4 张国荣;基于关系型与非关系型数据库的电子表单系统设计与实现[D];中山大学;2012年

【相似文献】

相关期刊论文 前10条

1 宋芬;;OA系统与档案管理系统数据交换的研究与实现[J];网络安全技术与应用;2010年07期

2 杨磊;;基于NoSQL数据库的结构化存储设计与应用[J];科技风;2011年18期

3 师德清;;MongoDB数据库在生产环境中的分片策略研究[J];信息与电脑(理论版);2011年10期

4 吴淼;倪力舜;;一种针对MongoDB数据库的证据获取方法[J];中国司法鉴定;2011年03期

5 谢红;;基于“云计算”的数据库分析[J];科技创新导报;2011年14期

6 徐娟娟;朱成亮;;NOSQL在WEB日志分析中的应用[J];中国新技术新产品;2011年10期

7 师德清;;基于Python、MongoDB和Red5的精品课程网站架构设计研究[J];电脑知识与技术;2011年30期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相关硕士学位论文 前10条

1 刘一梦;基于 MongoDB的云数据管理技术的研究与应用[D];北京交通大学;2012年

2 郑国龙;基于MongoDB的校园能源数据采集系统的研究与实现[D];华南理工大学;2013年

3 郭匡宇;基于MongoDB的传感器数据分布式存储的研究与应用[D];南京邮电大学;2013年

4 李东升;基于Chord环的MongoDB数据均衡系统设计与实现[D];重庆大学;2013年

5 徐栋;基于MongoDB的SaaS数据层多租户关键技术研究与实现[D];华东理工大学;2013年

6 田帅;一种基于MongoDB和HDFS的大规模遥感数据存储系统的设计与实现[D];浙江大学;2013年

7 王锐;基于MongoDB的关系网络分析技术研究与应用[D];国防科学技术大学;2011年

8 彭娜;基于Node.JS博客系统的设计与实现[D];大连理工大学;2013年

9 李昊;家居导购数据平台的设计与实现[D];北京交通大学;2013年

10 宋帅;基于NoSQL的电子政务系统的研究与设计[D];武汉理工大学;2013年

，

本文编号：1445334