多源异构的智能配用电数据存储处理技术

发布时间：2017-08-03 08:11

  本文关键词：多源异构的智能配用电数据存储处理技术

  更多相关文章： 大数据 海量数据 框架设计 智能配用电

【摘要】：针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。
【作者单位】： 天津大学电气与自动化工程学院;河北工业大学电气工程学院;国网上海市电力公司;
【关键词】： 大数据 海量数据 框架设计 智能配用电
【基金】：国家高技术研究发展计划(863计划)资助项目(2015AA050203)
【分类号】：TM76
【正文快照】： 0引言随着智能电网建设的推进,智能配用电的快速建模、仿真等高级应用技术[1]以及云计算、互联网技术等在电力系统中得到了越来越多的应用。这些新兴技术的应用需要大量基础的输入数据,与传统的配电网潮流计算、短路计算等稳态分析相比,数据形式从一个时间断面变成一段时间(一

【相似文献】

中国期刊全文数据库 前10条

1 崔宝娣;;企业网络数据存储技术应用分析[J];电力信息化;2008年09期

2 王益民,崔庆,冯存华;“数字黄河”工程数据存储与管理系统建设[J];人民黄河;2003年08期

3 林秀华;;一种基于云计算的安全数据存储的设计与实现[J];企业技术开发;2012年10期

4 段卓平;张菊兰;黄正平;盖峰;;一种新颖的可重构数据存储压力仪[J];北京理工大学学报;2007年09期

5 赵艳妮;郭华磊;马晓荣;;大型企业分布式数据存储模式[J];硅谷;2010年16期

6 ;智能“创可贴”首次实现数据存储[J];企业技术开发;2014年10期

7 杨俊;网格环境下的数据存储研究[J];哈尔滨商业大学学报(自然科学版);2005年04期

8 王瑞云;刘琳;刘越;;数据存储自动化管理虚拟化技术[J];黑龙江水利科技;2009年01期

9 高祥涛;陈宁;胡金龙;;江苏省水利厅数据存储体系架构浅析[J];江苏水利;2009年03期

10 ;美开发出数据存储新技术[J];企业技术开发;2009年05期

中国重要会议论文全文数据库 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

中国博士学位论文全文数据库 前3条

1 付松龄;分布式在线社交网络数据存储及优化技术研究[D];国防科学技术大学;2014年

2 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

3 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

中国硕士学位论文全文数据库 前10条

1 葛佳;P2P网络信誉数据存储与恢复方法的研究与实现[D];昆明理工大学;2015年

2 潘阳;基于Hadoop技术在分布式数据存储中的应用研究[D];大连海事大学;2015年

3 秦峥惠;基于Leveldb的企业级大数据集群化存储设计与实现[D];辽宁科技大学;2015年

4 吉瑛;基于MongoDB的团队协作数据存储方案研究与实现[D];中国科学院大学(工程管理与信息技术学院);2015年

5 姜威灵;CT仿真数据存储与高速传输装置设计[D];东北大学;2014年

6 方颀;基于行数据存储的CBCT图像重建FPGA电路的优化与设计[D];哈尔滨工业大学;2015年

7 张路路;基于MongoDB的大数据存储方法研究与应用[D];成都理工大学;2015年

8 张磊;基于Hadoop分布式数据存储传感设备平台的描述[D];南京邮电大学;2015年

9 贾新宇;基于云计算的GIS栅格数据存储与算法研究[D];吉林大学;2015年

10 李青;科技云平台的数据存储管理技术研究[D];北方工业大学;2016年

，

本文编号：613330