基于大数据的社交媒体区域监控技术研究
本文选题：大数据 切入点：Hadoop 出处：《复旦大学》2014年硕士论文 论文类型：学位论文
【摘要】：社交媒体是重要的互联网传播形式,用户通过Facebook、Twitter、新浪微博等网络媒体平台可以分享观念、看法和态度,形成巨大的社会影响力。通过社交网络发动示威游行、颜色革命和政治斗争,正成为互联网上难以发现的社会活动,造成了潜在的社会和政府管理风险,需要使用特定技术手段对社交媒体进行监控管理。社交网络的信息产生快速,数据量巨大,同时内容传播范围突破了传统媒体的时空局限性,已有的网络舆情监测系统无法满足海量数据的采集、存储和分析需求。基于这些问题,本文基于大数据技术设计社交媒体的分布式舆情监测系统,实现了Hadoop框架下文本数据的采集、存储和分析过程,并使用网络监控技术实现区域性监控。在充分研究舆情监测系统的基础上,设计了以Hadoop为基础的监控系统的结构模型,该模型以层次化的方式运用不同的大数据技术解决相应的监控问题。实现了符合MapReduce编程模型的采集系统和海量数据的存储模型；综合利用字符串匹配算法、分词技术和词频算法,实现分布式环境下的数据分析模型。整个监控系统具备完成的大数据功能和数据分析能力,能够作为不同监控目标的实现基础。
[Abstract]:Social media is an important form of Internet communication. Users can share ideas, opinions and attitudes through online media platforms such as Facebook Twitter, Sina Weibo, etc. Color revolutions and political struggles are becoming undetectable social activities on the Internet, creating potential social and government regulatory risks that require the use of specific technologies to monitor and manage social media. Because of the huge amount of data and the breakthrough of the limitation of the traditional media, the existing network public opinion monitoring system can not meet the demand of collecting, storing and analyzing the massive data. Based on these problems, the existing network public opinion monitoring system can not meet the needs of mass data collection, storage and analysis. Based on big data technology, this paper designs a distributed public opinion monitoring system based on social media, and realizes the collection, storage and analysis of text data under the Hadoop framework. Based on the research of public opinion monitoring system, the structure model of monitoring system based on Hadoop is designed. In this model, different big data techniques are used to solve the monitoring problem in a hierarchical way. The acquisition system and the storage model of massive data are realized in accordance with the MapReduce programming model, and the string matching algorithm is used synthetically. Word segmentation technology and word frequency algorithm to realize the data analysis model in the distributed environment. The whole monitoring system has completed big data function and data analysis ability and can be used as the basis for different monitoring objectives.
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.09
【共引文献】
相关期刊论文 前10条
1 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期
2 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期
3 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期
4 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期
5 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期
6 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期
7 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期
8 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期
9 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期
10 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期
相关会议论文 前10条
1 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年
2 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年
3 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年
4 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年
5 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年
6 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年
7 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年
8 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年
9 龚琪慧;刘伟;李坤;游攀利;;基于大数据的水利数据中心建设[A];大数据时代的信息化建设——2015（第三届）中国水利信息化与数字水利技术论坛论文集[C];2015年
10 张恺玉;陈磊;;一种基于Hadoop架构的指挥系统大数据挖掘方法[A];第三届中国指挥控制大会论文集（上册）[C];2015年
相关博士学位论文 前10条
1 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年
2 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年
3 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年
4 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年
5 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年
6 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年
7 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年
8 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
9 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年
10 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年
相关硕士学位论文 前10条
1 李东升;基于Chord环的MongoDB数据均衡系统设计与实现[D];重庆大学;2013年
2 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年
3 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年
4 郭峰;基于云计算的虚拟化技术在高校教学服务中的应用研究[D];北京工业大学;2013年
5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
6 杜超利;时空要素驱动的事件网页信息检索方法研究[D];南京师范大学;2013年
7 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年
8 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年
9 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年
10 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年
，本文编号：1561427
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/1561427.html
