基于Hbase的农业微博数据存储与处理策略

发布时间：2018-08-07 06:45

【摘要】：为解决海量微博数据给微博网站带了的访问速度下降,性能压力增大等问题,提出基于Hbase的农业微博数据存储与处理策略。该策略通过分析分布式数据库Hbase的存储模型,结合农业微博数据的特点以及对推—拉模式的研究,建立分布式存储模型,并改进推—拉模式之后结合Coprocessor及KMP算法对数据进行处理。最后,通过该策略的实例平台验证其有效性。
[Abstract]:In order to solve the problems of decreasing access speed and increasing performance pressure caused by massive Weibo data to Weibo website, a strategy of storing and processing agricultural Weibo data based on Hbase is put forward. By analyzing the storage model of distributed database Hbase, combining the characteristics of agricultural Weibo data and the research of push-pull model, this strategy establishes a distributed storage model. After improving the push-pull mode, the data are processed with Coprocessor and KMP algorithm. Finally, the effectiveness of the strategy is verified by an example platform.
【作者单位】： 西北农林科技大学信息工程学院;
【基金】：“十二五”国家科技支撑计划(2011BAD21B05,2013BAD15B02) 中央高校基本科研业务费(QN2011036) 科技支疆计划项目(2013AB016)
【分类号】：TP311.13;TP333

【参考文献】

相关期刊论文 前5条

1 范凯;;NoSQL数据库综述[J];程序员;2010年06期

2 朱素英;李芝成;;KMP模式匹配算法探讨[J];计算机与信息技术;2007年05期

3 马忠贵;叶斌;王成耀;王宗杰;涂序彦;;基于“推-拉”技术的多源复杂信息整合研究[J];计算机工程;2006年05期

4 陈庆奎;周利珍;;基于HBase的大规模无线传感网络数据存储系统[J];计算机应用;2012年07期

5 左停;旷宗仁;徐秀丽;;从“最后一公里”到“第一公里”——对中国农村技术和信息传播理念的反思[J];中国农村经济;2009年07期

【共引文献】

相关期刊论文 前10条

1 刘欣;;Cassandra数据库安全性分析与改进[J];电脑知识与技术;2010年35期

2 李彬;张英伟;;NoSQL非关系型数据库负载均衡的实现[J];电脑知识与技术;2012年06期

3 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期

4 张磊;时允昌;王德海;;农业知识与信息系统:概念、模型及管理[J];广东农业科学;2012年08期

5 尹国伟;王文生;孙志国;;农业信息化“最后一公里”和“最初一公里”问题研究[J];安徽农业科学;2012年34期

6 姬伟;曹春香;吴信才;程锦泉;吴永胜;;疾病监测预警与应急处置系统的数据集成模式[J];测绘科学;2012年06期

7 陈超;王亮;闫浩文;仇阿根;李玉祥;朱芳菲;;一种基于NoSQL的地图瓦片数据存储技术[J];测绘科学;2013年01期

8 付世娇;吴传;廖小莉;;NOSQL技术在档案检索中的应用探索[J];国土资源信息化;2013年04期

9 张天宇;贺金鑫;王阳;付友萍;;基于NoSQL数据库的地学大数据高效存储方法[J];吉林大学学报(信息科学版);2013年06期

10 李亮;景旭;李书琴;李丽宁;;农业信息整合服务SaaS平台研究与设计[J];中国农机化学报;2013年06期

相关博士学位论文 前6条

1 邵腾伟;基于转变农业发展方式的农户联合与合作经营研究[D];重庆大学;2011年

2 周亦鹏;基于软件人的情境主题分析及应用研究[D];北京科技大学;2012年

3 钟秋波;我国农业科技推广体制创新研究[D];西南财经大学;2013年

4 熊春林;农村农业信息化服务能力建设研究[D];湖南农业大学;2013年

5 何津;AKIS视角下农业科技服务体系创新研究[D];中国农业大学;2014年

6 宋金田;新制度经济学视角农户生产经营行为实证研究[D];华中农业大学;2013年

相关硕士学位论文 前10条

1 许婷;面向中文信息处理的复句特征分析器的研究与实现[D];华中师范大学;2011年

2 圣海忠;财政支出对基层农技员农业技术推广效率的影响研究[D];江西农业大学;2011年

3 郝伟;湖南移动网管集中云存储平台搭建与测试[D];中南大学;2010年

4 黎瑞瑜;分布式实时分发微博系统[D];华南理工大学;2011年

5 黄体杨;面向农村居民信息需求的县域农村信息服务研究[D];云南大学;2011年

6 金若晗;传播距离与农村政治信息传播效果探究[D];江西师范大学;2011年

7 王光磊;基于J2EE的混合式学习课程制作系统的研究与实现[D];北京邮电大学;2012年

8 王维杰;基于XML的管理信息系统数据交换平台的研究[D];上海交通大学;2007年

9 于杨;基于知识元的领域知识服务体系的研究与实现[D];大庆石油学院;2009年

10 吴振生;企业架构下Web Service技术的研究[D];江南大学;2009年

【二级参考文献】

相关期刊论文 前10条

1 徐晖明;我国发展传播学研究状况[J];当代传播;2003年02期

2 王艳霞;“最后一公里”问题的原因与解决对策[J];东北大学学报(社会科学版);2005年03期

3 潘长胜,于浩海,王光兴;Web Services动态整合的体系结构和算法[J];东北大学学报;2003年05期

4 曹攀峰;;农业信息化:“最后一公里”的终结[J];调研世界;2007年04期

5 沈俊涛;“最后一公里”究竟有多长[J];发展;2003年07期

6 高广生;;农业信息进村入户“最后一公里”方式初探[J];黑龙江科技信息;2007年22期

7 吴洪彪;畅通“最后一公里” 推进农业信息化[J];中国农村科技;2004年01期

8 白坤;第六届中国农业信息化高层论坛在京召开 打通信息服务的“最后一公里”[J];中国农村科技;2005年05期

9 段军,涂序彦;基于MAT的IIPP交通事故处理辅助决策支持系统[J];计算机工程与应用;2003年35期

10 谢方,王礼力;农业信息到户“最后一公里”问题探讨[J];西北农林科技大学学报(社会科学版);2005年04期

【相似文献】

相关期刊论文 前10条

1 魏云刚;张春悦;孙波;邱茜;战乃新;车丽美;;基于资源分类信息树的教育资源元数据分布式存储[J];现代教育技术;2010年04期

2 王慧;申家双;陈冬阳;邓雪清;;一种高性能的大区域遥感影像管理模型[J];海洋测绘;2006年03期

3 郑胜;郝毫毫;;基于贝努利大数定律的数据分布算法[J];计算机工程;2009年19期

4 孟庆伟;;云计算技术及其电信应用[J];电信快报;2010年07期

5 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

6 刘广涛;舒继武;郑纬民;;可扩展的分布式邮件系统的研究与实现[J];小型微型计算机系统;2005年12期

7 王大涛;姜月秋;;一种适用于集群的高可用存储模型的研究[J];沈阳理工大学学报;2007年02期

8 邢继元;张义德;;计算机存储技术的发展现状和趋势[J];科协论坛(下半月);2008年02期

9 赵颖斯;刘云;;BBS舆情系统的数据采集方法[J];电信快报;2008年12期

10 高波;郭朝珍;丁善镜;;基于GML矢量图层分割的空间数据分布式协同处理的研究[J];计算机应用;2009年01期

相关会议论文 前10条

1 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

2 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年

3 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

4 郭建忠;李宏伟;;多尺度地理空间数据分布式存储与管理若干问题的研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年

5 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

6 郭荣坤;高鹏翼;;人工神经网络(ANN)在测井储层评价中应用[A];1996年中国地球物理学会第十二届学术年会论文集[C];1996年

7 杜希奇;王学俭;卜忱;;动态数据神经网络建模技术[A];探索创新交流－－中国航空学会青年科技论坛文集[C];2004年

8 李于锋;张亚林;赵强;;有限元计算框架PANDA中的并行机制[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

9 何涛;黄渊;李爱波;;基于ADSP-TS201的雷达转角处理设计方法[A];全国第五届信号和智能信息处理与应用学术会议专刊(第一册)[C];2011年

10 杨爱民;刘韧;赵广华;崔玉环;;集群系统中基于MPI的并行GMRES(m)计算通信的研究及应用[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年

相关重要报纸文章 前10条

1 ;存储2.0时代渐行渐近[N];网络世界;2007年

2 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年

3 山东胶南张家楼教委 杨维春;数字图书馆的待解难题[N];中国电脑教育报;2006年

4 李梅;存储2.0,基于Web的存储迎面而来[N];计算机世界;2007年

5 刘学习;存储技术往哪儿走？[N];计算机世界;2007年

6 本报记者　 周蓉蓉;做信息化的“司务长”[N];计算机世界;2006年

7 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年

8 仰一凡、王哲;应用校园网生存和发展之本[N];中国计算机报;2002年

9 ;存储系统的挑战[N];网络世界;2006年

10 本报记者 周源;Drobo:简单的力量[N];网络世界;2010年

相关博士学位论文 前10条

1 赵浩天;基于网络编码的分布式存储容错及扩容问题研究[D];中国科学技术大学;2013年

2 胡q，

本文编号：2169208