基于Hadoop的互联网舆情监测处理平台设计和实现

发布时间：2021-03-01 20:11

　　随着科技的快速发展,智能手机和网络全面普及,人们的交流不再受制于距离和时间,海量信息以更快速、更广泛的状态传播于互联网的各类社交平台,网络舆情对现实社会的影响越来越大。传统舆情监测系统能采集互联网上企业舆情信息,并对企业舆情进行简单展示,但在海量信息采集和分析上有待提高,据此,本文开发了基于Hadoop的互联网舆情监测处理系统。该系统可以快速采集互联网上企业舆情信息,并对采集到的舆情信息进行分析,展示企业舆情最新动态和发展方向,为企业负面舆情扩散前和扩散后的处理提供数据支撑,减少企业损失。本文主要研究工作如下。在分析国内外现有互联网监测软件应用情况和相关技术的基础上,根据企业舆情监测的实际需求,设计了互联网舆情监测处理平台总体框架,该框架共分为信息采集、信息分析、信息展示和系统管理4个功能模块;围绕舆情监测处理平台的4个功能模块对系统展开详细的设计,在设计过程中用到了B/S构架、Hadoop、分布式Nutch爬虫、K-means聚类算法等技术;最后搭建系统开发环境,完成舆情监测处理平台的部署,同时对系统采集功能、检索功能、情感分析功能等进行逐一测试。在对舆情监测处理平台的设计过程中,信... 

【文章来源】：河南科技大学河南省

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

中国网民规模和互联网普及率

方正智思服务平台可以准确搜集网络信息并进行分析，让用户快速掌动态，还可以对用户重点关注事件、线索进行持续跟踪和多维度分析，处理舆情过程中发挥关键作用[5]。邦富舆情监测系统可以支持对多个网采集与分析，更新频率更是可以做到每 5 分钟一次，该系统采用了多线指令执行架构、增量实时索引、智能分词、相关性分析和模糊匹配等多技术，邦富舆情监测系统主要侧重在电子政务领域，邦富舆情监测和舆整体方案如下图 1-2 所示。

Client 组成，其系统构架如下图 2-2 所示。Namenode 承担 Master 的任务，担任系统中的管理员角色，管理文件系统命名空间和客户端请求受理；Datenode 承担 Worker 的任务，主要负责将文件块存储在本地文件系统中，并且定时的向Namenode 发送其存储文件块的信息；Client 为客户提供访问入口。


本文编号：3057971