面向政务微博的数据分析系统设计与实现

发布时间：2021-05-16 19:42

　　如今政务微博在政府工作中发挥着越来越重要作用,政务微博发布内容种类繁多,日发布量越来越多,迫切需要提高政务微博的管理和运营效率,掌握近期政务微博的舆论倾向并及时引导舆论导向,了解人民大众最关心的政务话题,本文涉及的面向政务微博的数据分析领域研究,对解决政府微博运营管理,具有很好的应用前景。本文通过调查研究近年来政务微博发展现状,发现政务微博运营人员不能掌握政务微博内部大众关心的热门话题,不能及时了解政务微博信息舆论情感倾向,对政务微博运营管理效率低,并且政务微博账户内数据量不断增多,数据特征复杂,隐藏许多潜在价值等。本文根据政务微博现在迫切要解决的需求问题,设计并实现了面向政务微博的数据分析系统,该系统实现了提取大众最关心的政务微博话题、获取大众对近期热门微博的情感倾向、分析微博用户行为和用户特征信息、定时收集热门发布素材信息等功能,以政府微博账户“上海发布”为例对整个系统做了阐述,整个系统分为三个子系统,分别为数据采集子系统,数据分析子系统,数据可视化子系统,数据采集子系统利用分布式爬虫Scrapy框架采集数据,数据分析子系统利用Spark分布式系统进行数据分析计算,其中包括:中文分... 

【文章来源】：杭州师范大学浙江省

【文章页数】：74 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 政务微博国内外研究现状
        1.2.2 微博文本挖掘国内外研究现状
        1.2.3 政务微博突显问题
    1.3 论文研究内容及论文结构
        1.3.1 论文研究内容
        1.3.2 论文结构
    1.4 论文创新处
2 相关技术分析
    2.1 网络爬虫技术
    2.2 Jieba分词器
    2.3 Spark计算框架
    2.4 LDA主题模型
    2.5 MongoDB数据库
    2.6 WEB技术
    2.7 可视化工具Echarts
    2.8 本章小结
3 系统需求分析
    3.1 业务需求
    3.2 功能性需求
    3.3 本章小结
4 面向政务微博热度和情感分析的HRCA和 EDS模型
    4.1 政务微博热度HRCA模型
        4.1.1 政务微博热度HRCA模型设计
        4.1.2 政务微博热度HRCA模型实验
    4.2 政务微博评论情感值EDS模型
        4.2.1 政务微博评论情感值EDS模型设计
        4.2.2 政务微博评论情感值EDS模型实验
    4.3 本章小结
5 面向政务微博的数据分析系统设计
    5.1 系统整体架构设计
    5.2 数据采集子系统设计
        5.2.1 数据采集种类
        5.2.2 政务微博数据采集功能设计
    5.3 数据分析子系统设计
        5.3.1 获取政务微博热门微博话题功能设计
        5.3.2 基于EDS模型舆论倾向分析功能设计
        5.3.3 政务微博多维度数据分析功能设计
        5.3.4 政务微博获取发布素材功能设计
    5.4 数据可视化子系统设计
        5.4.1 系统用户管理功能
        5.4.2 数据可视化展示功能
    5.5 数据库设计
    5.6 本章小结
6 面向政务微博的数据分析系统实现
    6.1 系统实现环境
        6.1.1 软硬件环境
        6.1.2 分布式环境
    6.2 数据采集子系统实现
        6.2.1 数据采集功能实现
    6.3 数据分析子系统实现
        6.3.1 获取政务微博热门微博话题功能实现
        6.3.2 基于EDS模型舆论倾向分析功能实现
        6.3.3 政务微博多维度数据分析功能实现
        6.3.4 政务微博获取发布素材功能实现
    6.4 数据可视化子系统实现
        6.4.1 系统用户管理功能
        6.4.2 数据可视化展示功能
    6.5 本章小结
7 总结与展望
    7.1 全文总结
    7.2 展望
参考文献
作者简历
致谢


【参考文献】：
期刊论文
[1]从“南京发布”的运营看政务微博的发展[J]. 封红旗,雷晨阳.  青年记者. 2016(29)
[2]中国政务微博的发展现状及对策研究——基于对新浪省级政府微博的网络调查[J]. 陈艳红,姬荣荣.  电子政务. 2015(11)
[3]短文本相似度研究及其在微博话题检测中的应用[J]. 黄贤英,陈红阳,刘英涛.  计算机工程与设计. 2015(11)
[4]政务微博推广机制研究——以“北京微博发布厅”的推广为例[J]. 柳思思.  电子政务. 2015(01)
[5]大数据技术研究综述[J]. 刘智慧,张泉灵.  浙江大学学报(工学版). 2014(06)
[6]基于词典和规则集的中文微博情感分析[J]. 王志涛,於志文,郭斌,路新江.  计算机工程与应用. 2015(08)
[7]中文微博情感分析研究综述[J]. 周胜臣,瞿文婷,石英子,施询之,孙韵辰.  计算机应用与软件. 2013(03)
[8]中文文本情感倾向分析研究[J]. 马晓玲,金碧漪,范并思.  情报资料工作. 2013(01)
[9]基于层次结构的多策略中文微博情感分析和特征抽取[J]. 谢丽星,周明,孙茂松.  中文信息学报. 2012(01)
[10]政务微博的管理风险及运营策略[J]. 瞿旭晟.  新闻大学. 2011(02)

硕士论文
[1]基于文本挖掘技术的微信公众号关系网络研究[D]. 潘伟.东南大学 2018
[2]地方政务微博运营策略及职能发挥研究[D]. 马骎.广西大学 2015
[3]基于LDA特征扩展的微博短文本分类[D]. 刘丽娟.燕山大学 2015
[4]微博客主题分类的特征扩展方法[D]. 吕向楠.哈尔滨工业大学 2013
[5]微博客热点话题发现策略研究[D]. 杨冠超.浙江大学 2011



本文编号：3190286