基于MongoDB的前置通信平台大数据存储机制

发布时间：2020-02-08 03:13

【摘要】：为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优化机制。然后,针对目前Mongo DB数据均衡策略的不足,结合数据节点负载的差异,对均衡策略进行优化,实现了数据量和负载的动态均衡。前置通信平台的实践应用分析验证了基于Mongo DB的大数据存储机制具有高并发读写性能和良好的可行性。

【参考文献】

相关期刊论文 前10条

1 闫湖;周薇;李立新;戴娇;韩冀中;狄方春;;基于分布式键值对存储技术的EMS数据库平台[J];电网技术;2012年09期

2 刘萌;褚晓东;张文;冯宗英;;负荷分布式控制的云计算平台构架设计[J];电网技术;2012年08期

3 李芳;陈勇;张松树;胡涛;;大电网统一数据库建设相关技术研究[J];电网技术;2013年02期

4 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

5 马建光;姜巍;;大数据的概念、特征及其应用[J];国防科技;2013年02期

6 赵腾;张焰;张东霞;;智能配电网大数据应用技术与前景分析[J];电网技术;2014年12期

7 曹军威;万宇鑫;涂国煜;张树卿;夏艾tD;刘小非;陈震;陆超;;智能电网信息系统体系结构研究[J];计算机学报;2013年01期

8 金培权;郝行军;岳丽华;;面向新型存储的大数据存储架构与核心算法综述[J];计算机工程与科学;2013年10期

9 陆婷;房俊;乔彦克;;基于HBase的交通流数据实时存储系统[J];计算机应用;2015年01期

10 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期

【共引文献】

相关期刊论文 前10条

1 陈京;陈容红;江志农;;设备故障监测诊断平台多语言技术研究[J];电子设计工程;2012年11期

2 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

3 刘洁;王哲;;基于大数据的电信运营商业务精确运营平台的构建[J];电信科学;2013年03期

4 张素香;刘建明;赵丙镇;曹津平;;基于云计算的居民用电行为分析模型研究[J];电网技术;2013年06期

5 张平;;电网监测系统主控中心的设计[J];计算机光盘软件与应用;2013年13期

6 张平;;智能电网监测系统GPRS通信的设计[J];电子技术与软件工程;2013年13期

7 李刚;;基于可信平台的智能电网安全多方计算环境研究[J];电子世界;2013年20期

8 梁凤兰;;大数据时代数据管理方式的研究[J];电脑开发与应用;2013年11期

9 张平;;基于ABC三相电的电网监测系统监控终端的设计[J];电子产品世界;2013年12期

10 李忠旭;;智能电网信息系统体系结构研究[J];电子世界;2013年22期

相关会议论文 前9条

1 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年

2 田胜利;徐锡山;杨树强;华中杰;;针对HBase的MapReduce访问接口的优化[A];第九届中国通信学会学术年会论文集[C];2012年

3 蔡骥然;周振宇;祁兵;伍军;;需求响应通信架构和数据模型研究[A];2013年中国电机工程学会年会论文集[C];2013年

4 杨云涛;;智能配电网信息系统体系架构与实现路径研究[A];电力行业信息化优秀论文集2013[C];2013年

5 付彩霞;;大数据背景下档案管理模式的转换与创新[A];建设与文化强国相匹配的“档案强国”论文集[C];2014年

6 张宁熙;;大数据在突发公共事件网络舆情信息工作中的应用[A];广西计算机学会2014年学术年会论文集[C];2014年

7 罗艳;龙波;吴彩荣;张明;;基于异构数据源的云数据库系统研究[A];广西计算机学会2014年学术年会论文集[C];2014年

8 孙峰;钱啸;曾建梁;金烨;钱伟杰;许晶;;基于大数据理念的地市供电公司智能电网规划数据融合研究[A];电力行业信息化优秀论文集2014——2014年全国电力行业两化融合推进会暨全国电力企业信息化大会获奖论文[C];2014年

9 王华;王学宁;张连伟;汤益林;;指挥控制系统中的大数据技术运用[A];第三届中国指挥控制大会论文集（上册）[C];2015年

相关博士学位论文 前10条

1 毕艳冰;面向智能电网的通信中间件的关键技术研究[D];山东大学;2013年

2 景旭;管理型SaaS信息安全关键技术研究[D];西北农林科技大学;2013年

3 周颖杰;基于行为分析的通信网络流量异常检测与关联分析[D];电子科技大学;2013年

4 张鹏;形式化方法在云计算中的应用研究[D];吉林大学;2014年

5 刘峰;大数据时代的电视媒体营销研究[D];华东师范大学;2014年

6 张兰廷;大数据的社会价值与战略选择[D];中共中央党校;2014年

7 李鹏;智能电网运营管理风险元传递模型及决策支持系统研究[D];华北电力大学;2014年

8 刘晓东;虚拟计算环境下性能可预测编程模型及其支撑技术研究[D];上海大学;2014年

9 徐辰;键值存储系统中的质量感知调度[D];华东师范大学;2014年

10 马雪丽;离散制造业集成化作业计划管理方法研究[D];大连理工大学;2014年

相关硕士学位论文 前10条

1 王克锋;基于Android的信息推送管理系统的设计和实现[D];大连理工大学;2012年

2 陈京;便携式设备故障监测诊断系统关键技术研究[D];北京化工大学;2012年

3 邝俊斌;基于GIS的市政照明无线监控系统的管理软件研发[D];华南理工大学;2012年

4 彭利章;基于SaaS的通用后台内容管理系统的研究与实现[D];华南理工大学;2012年

5 张炜刚;基于Web的电网运行状态可视化关键技术研究[D];山东大学;2012年

6 朱家怿;用电现场移动数据同步机制及其接口技术应用研究[D];浙江大学;2013年

7 孙春菊;云环境下数据模型和索引技术研究[D];南京邮电大学;2013年

8 叶丽霞;城市公共自行车调度系统研究[D];南京理工大学;2013年

9 张杨;一种个人云存储服务系统的设计与实现[D];电子科技大学;2012年

10 商召玺;区域微博用户影响力测量系统的设计与实现[D];华中科技大学;2012年

【二级参考文献】

相关期刊论文 前10条

1 李毅,程运,李秉智;多线程技术在数据通信中的应用[J];重庆邮电学院学报;1997年04期

2 曹一家;李大虎;;基于广域测量系统的大区域电网负荷建模的研究[J];电力科学与技术学报;2007年02期

3 韩松;何利铨;邱国跃;;WAMS研究、建设与应用的新进展[J];电测与仪表;2011年04期

4 刘梦欣;王杰;陈陈;;电力系统频率控制理论与发展[J];电工技术学报;2007年11期

5 朱永利;翟学明;姜小磊;;绝缘子泄漏电流的自适应SPIHT数据压缩[J];电工技术学报;2011年12期

6 吴俊勇;;“智能电网综述”技术讲座 第二讲:国内外智能电网的发展战略[J];电力电子;2010年02期

7 孟晓丽;盛万兴;;基于eDNA数据库的配电网实时数据统一采集平台设计与建设[J];电力建设;2011年03期

8 周晖;钮文洁;王毅;李涛;杨红;;从缴费行为分析电力客户信用度[J];电力需求侧管理;2006年06期

9 赵祖康,徐石明;电力系统信息传输协议综述[J];电力系统自动化;2000年22期

10 丁军策;蔡泽祥;王克英;;基于广域测量系统的状态估计研究综述[J];电力系统自动化;2006年07期

相关硕士学位论文 前5条

1 张韧;基于CIM模型的电网企业统一信息共享平台研究与设计[D];上海交通大学;2011年

2 刘金垒;层次式并行混合存储系统关键技术研究[D];国防科学技术大学;2011年

3 陈志广;引入flash的多层次存储结构研究与实现[D];国防科学技术大学;2009年

4 张建东;基于J2EE的工作流系统的研究与实现[D];华北电力大学（河北）;2006年

5 赵恒;面向键值数据库应用的混合存储系统设计与实现[D];华中科技大学;2012年

【相似文献】

相关期刊论文 前10条

1 崔宝娣;;企业网络数据存储技术应用分析[J];电力信息化;2008年09期

2 王益民,崔庆,冯存华;“数字黄河”工程数据存储与管理系统建设[J];人民黄河;2003年08期

3 林秀华;;一种基于云计算的安全数据存储的设计与实现[J];企业技术开发;2012年10期

4 段卓平;张菊兰;黄正平;盖峰;;一种新颖的可重构数据存储压力仪[J];北京理工大学学报;2007年09期

5 赵艳妮;郭华磊;马晓荣;;大型企业分布式数据存储模式[J];硅谷;2010年16期

6 ;智能“创可贴”首次实现数据存储[J];企业技术开发;2014年10期

7 杨俊;网格环境下的数据存储研究[J];哈尔滨商业大学学报(自然科学版);2005年04期

8 王瑞云;刘琳;刘越;;数据存储自动化管理虚拟化技术[J];黑龙江水利科技;2009年01期

9 高祥涛;陈宁;胡金龙;;江苏省水利厅数据存储体系架构浅析[J];江苏水利;2009年03期

10 ;美开发出数据存储新技术[J];企业技术开发;2009年05期

相关会议论文 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

相关博士学位论文 前2条

1 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

2 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

相关硕士学位论文 前10条

1 萨日娜;一种基于综合阈值的分布式数据存储方法[D];哈尔滨工程大学;2011年

2 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年

3 史玉丽;基于嵌入式的数据存储与通信模块的设计[D];内蒙古师范大学;2012年

4 赵晋;基于宽表的多租户数据存储模式研究[D];郑州大学;2014年

5 陈春霖;云计算中数据存储的完整性校验模型研究[D];东华大学;2013年

6 单旭;异构大数据存储方法研究[D];北京交通大学;2014年

7 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年

8 王东晨;网络试验平台数据存储研究与实现[D];北京邮电大学;2013年

9 韩方;基于DSP的数据存储与传输系统的研究与设计[D];武汉理工大学;2010年

10 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年

，

本文编号：2577393