微博舆情的Hadoop存储和管理平台设计与实现

发布时间：2018-06-24 14:03

  本文选题：舆情分析 + Hadoop　； 参考：《电子技术应用》2017年03期

【摘要】：随着Internet技术的迅速发展,网络舆情监控系统正在得到广泛应用。网络舆情监控系统的数据量也急速膨胀,如何高效地存储和管理这些海量的非结构或半结构化数据成为网络舆情系统研发中的挑战课题。传统的关系数据库和分布式计算等数据处理的方式也越来越不能适应日益增长网络大数据。针对微博数据的特点建立了一种面向微博舆情应用的Hadoop存储平台的多层体系架构,并采用列数据库设计多种微博结构化数据的表结构,以及表之间的关系模型。测试结果表明,设计的存储管理平台具有检索响应速度快、可扩展性好等特点。
[Abstract]:With the rapid development of Internet technology, network public opinion monitoring system is widely used. The amount of data of network public opinion monitoring system also expands rapidly. How to store and manage these massive unstructured or semi-structured data efficiently becomes a challenge in the research and development of network public opinion system. The traditional data processing methods, such as relational database and distributed computing, can not adapt to the growing network big data. According to the characteristics of Weibo data, a multi-layer architecture of Weibo storage platform for Weibo public opinion application is established, and the table structure of various Weibo structured data and the relational model between tables are designed by using column database. The test results show that the designed storage management platform has the characteristics of fast retrieval response, good scalability and so on.
【作者单位】： 中国科学院大学;清华大学电子工程系;清华大学网络科学与网络空间研究院;
【基金】：国家科技支撑计划项目(2014BAH41B00) 国家自然基金项目(U1536201)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 梁丽雯;;网络舆情分析师或成就业香饽饽[J];金融科技时代;2014年01期

2 ;做好舆情分析是有效引导的前提[J];中国记者;2001年03期

3 杨玫;;舆情分析:图书馆为领导决策服务的新探索[J];图书馆论坛;2006年05期

4 宋占茹;;图书馆开展网络舆情分析工作初探[J];情报探索;2010年08期

5 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[J];杭州电子科技大学学报;2010年05期

6 颜建华;刘岩;傅黎犁;刘亚民;;基于网络的舆情分析系统及其应用研究[J];医学信息学杂志;2011年08期

7 侯文昌;;传媒新角色—舆情分析师的专业素养 “朝阳职业”四年成长史[J];中国记者;2011年09期

8 刘鹏飞;;“寻路”舆情分析师:一些心得,几点忠告[J];中国记者;2011年09期

9 刘岩;傅黎犁;颜建华;;医学情报研究机构开展舆情分析服务的实践[J];中华医学图书情报杂志;2012年01期

10 曹劲松;;政府形象传播的舆情分析[J];江海学刊;2012年03期

相关会议论文 前4条

1 宋占茹;;图书馆网络舆情分析工作新探[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 何顺兰;王兴起;胡宏宇;姜明;;多媒体舆情分析系统设计与研究[A];浙江省电子学会2010学术年会论文集[C];2010年

3 孙江;;天津蓟县莱德商厦火灾信息发布、媒体报道及网络舆情分析[A];2013中国消防协会科学技术年会论文集[C];2013年

4 梁飞;吕洪波;姚锦峰;;舆情分析中语料库降维[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

相关重要报纸文章 前10条

1 本报记者 降蕴彰;舆情分析师来了[N];经济观察报;2013年

2 福建三明学院 郑祥专;教育舆情分析须坚持“四性”[N];中国教育报;2009年

3 记者 王庆华;克旗全面启动法律援助舆情分析工作[N];赤峰日报;2010年

4 本报记者 傅江平;舆情分析为食品安全监管提供支撑[N];中国质量报;2012年

5 记者 马献忠;“段子文化的舆情分析”课题结项[N];中国社会科学报;2011年

6 本报记者 孙艳敏;网络舆情分析师：不只是替领导看看网[N];检察日报;2013年

7 记者 魏志强　通讯员 杜胜辉;青工的心情 团委的事情[N];中国石油报;2010年

8 杨丽娟　张音;走近网络舆情分析师[N];人民日报;2011年

9 于雅倩　本报记者 王宁;身边烦恼有地儿说[N];丹东日报;2009年

10 赵强;回应舆论关切 怎能语焉不详[N];人民日报;2014年

相关博士学位论文 前1条

1 冯时;面向网络舆情分析的观点挖掘关键技术研究[D];东北大学;2011年

相关硕士学位论文 前10条

1 姜朋;山东大学舆情分析系统的设计与实现[D];山东大学;2015年

2 唐霞;Hadoop调度器优化及其在舆情分析中的应用[D];北京化工大学;2015年

3 冯佳明;深度词汇网络学习舆情监测关键技术的研究[D];北京化工大学;2015年

4 王晔;面向舆情分析的skyline查询技术研究与实现[D];国防科学技术大学;2013年

5 马梅;基于大数据的网络舆情分析系统模型研究[D];西安电子科技大学;2014年

6 高卫民;城市公安网络舆情分析系统的设计与开发[D];天津大学;2014年

7 黄斯琪;基于微博平台的社交网络舆情分析方法[D];南京邮电大学;2015年

8 罗晶;校园舆情分析中的意见挖掘技术研究[D];东南大学;2015年

9 梁超君;大数据背景下G政府舆情分析应用研究[D];广东工业大学;2016年

10 谭造乐;基于Spark的舆情分析架构研究[D];广东工业大学;2016年

，

本文编号：2061767