基于大数据的政府公共舆论信息平台存储与处理技术研究

发布时间：2025-04-11 03:30

　　随着我国各方面的飞速发展,经济实力和在世界上的地位显著提升,目前已经是世界第二大经济;因此,我国的公民无论是在国内还是在国际上,都有了话语权,这就使得人们在评判议论事情时,通常会按照自己的主观意见去考虑,自由发表观点看法,有时并不能真实的客观的去反映事实,人云亦云,从而造成错误舆论。本文根据上述情况,针对丰镇市舆情信息监测不精确耗时长的问题,基于大数据方面的对政府信息处理的建议,进行了有关系统在需求方面的相关研究,并对相关的系统功能的实验设计都进行了研究。以大数据储存作为研究的原则,丰镇市政府公共舆论信息平台将舆论信息分为四个阶段,即为设定、采集、分析和服务四个阶段。根据丰镇市的民族特色,主要抓取当前包含了蒙古族、汉族冲突等主题的内容,设置网页爬虫的基本类型后,爬虫系统就可以进行网页信息抓取工作了,抓取有效的主题用户评论信息,上传到服务器中进行剖析,判断用户评论是否为负面评论。索引服务器主要方便用户对舆论进行查询工作,WEB服务器主要作用就是对网页的交互信息进行管理。在网络上是根据网络留言的实际情况,判断用户留言是否针对某件事进行负面评论的情况,在这之前,设定一个阈值,一旦超过阈值,系统...

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
一、绪论
    1.1 研究背景
    1.2 国内外舆论信息系统研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 研究内容及意义
    1.4 研究路线及其方法
    1.5 各章节内容安排
二、关键技术研究
    2.1 大数据概述
        2.1.1 大数据相关技术
        2.1.2 大数据平台系统框架
    2.2 网络爬虫技术分析研究
        2.2.1 网络爬虫技术概述
        2.2.2 网络爬虫的分类及特点
        2.2.3 网络爬虫在公共舆论信息平台中的应用背景
    2.3 Lucene索引技术分析研究
        2.3.1 Lucene索引技术概述
        2.3.2 Lucene索引技术的特点
        2.3.3 Lucene索引技术在公共舆论信息平台中的应用背景
    2.4 SSH2框架技术分析研究
        2.4.1 SSH2框架概述
        2.4.2 SSH2框架分析
    2.5 文本分类技术
        2.5.1 中文分词技术
        2.5.2 文档分类算法
    2.6 情感分类技术及方法
    2.7 WEKA平台技术分析研究
        2.7.1 WEKA平台概述
        2.7.2 WEKA平台功能介绍
        2.7.3 WEKA平台的分类算法
    2.8 本章小结
三、需求分析
    3.1 政府公共舆论信息平台的业务需求分析
    3.2 政府公共舆论信息平台的功能需求分析
        3.2.1 用户用例
        3.2.2 功能需求
    3.3 政府公共舆论信息平台的非功能性需求
        3.3.1 性能需求
        3.3.2 准确性需求
        3.3.3 扩展性需求
        3.3.4 可靠性需求
    3.4 本章小结
四、政府公共舆论信息平台设计
    4.1 系统架构设计
        4.1.1 系统软件架构
        4.1.2 系统服务器部署
    4.2 系统详细设计
        4.2.1 信息采集模块
        4.2.2 信息索引模块
        4.2.3 信息处理模块
        4.2.4 信息分析模块
        4.2.5 信息预警模块
        4.2.6 系统管理模块
    4.3 系统数据库设计
    4.4 本章小结
五、政府公共舆论信息平台的实现
    5.1 系统的实现
        5.1.1 信息采集模块的实现
        5.1.2 信息索引模块的实现
        5.1.3 信息分析模块的实现
    5.2 系统测试
        5.2.1 功能测试
        5.2.2 系统性能测试
    5.3 本章小结
六、总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢



本文编号：4039437